Câu chuyện bắt đầu từ tháng 11 năm ngoái, khi công ty triển khai một tác nhân AI để trả lời các câu hỏi của ban lãnh đạo về các chỉ số nội bộ. Ban đầu, mọi thứ có vẻ tuyệt vời. Hệ thống đưa ra câu trả lời nhanh chóng, giải thích chi tiết và mọi người đều yêu thích nó. Các báo cáo bóng bẩy với tỷ lệ phần trăm chính xác, xu hướng nghe có vẻ uy tín khiến ban giám đốc tin tưởng tuyệt đối.
Nhưng có một người đã nghi ngờ ngay từ đầu. Nhân viên đăng bài trên Reddit cho biết anh ta đã nêu lo ngại về việc cần xác thực dữ liệu AI ngay từ tháng 11. Tuy nhiên, thay vì được lắng nghe, anh ta bị nói rằng đang làm chậm đổi mới. Công ty muốn tận dụng công nghệ AI để tăng tốc độ ra quyết định, và bất kỳ yêu cầu kiểm tra nào đều bị coi là cản trở tiến bộ.
Trong suốt 3 tháng tiếp theo, AI tiếp tục hoạt động như một nguồn thông tin đáng tin cậy cho ban lãnh đạo. Hệ thống trả lời mọi câu hỏi về số liệu kinh doanh với sự tự tin đáng kinh ngạc. Nó đưa ra các con số cụ thể, giải thích xu hướng và thậm chí cung cấp các khuyến nghị chiến lược. Nhưng hóa ra các con số đó đều do AI tự bịa ra mà không ai nghi ngờ vì mọi thứ đều có vẻ hợp lý.
Những con số giả mạo đó đã định hình các quyết định kinh doanh thực sự. Phó chủ tịch bán hàng đưa ra quyết định điều chỉnh lãnh thổ dựa trên dữ liệu hoàn toàn không tồn tại. Giám đốc tài chính trình bày trước hội đồng quản trị một bộ tài liệu chứa đầy những hiểu biết giả mạo. Các cuộc thảo luận chiến lược quan trọng tiến triển trên một nền tảng hoàn toàn sai lệch.
Sự thật chỉ được phát hiện hoàn toàn tình cờ. Một ngày nào đó, ai đó yêu cầu nhân viên này kiểm tra kỹ một điểm dữ liệu cụ thể. Anh ta bắt đầu đào sâu và phát hiện ra điều kinh hoàng. Các con số mà AI đưa ra đôi khi từ thời kỳ hoàn toàn sai. Đôi khi chúng trộn lẫn dữ liệu của các sản phẩm khác nhau. Và đôi khi, chúng hoàn toàn được bịa ra từ con số không.
"Chết thật, tình hình thật tồi tệ" - anh ta viết trên Reddit với giọng điệu hoảng loạn. Việc đánh giá sâu hơn cho thấy sự không nhất quán lan rộng khắp mọi báo cáo mà AI từng tạo ra trong ba tháng qua. Những gì mà ban lãnh đạo tin là dữ liệu thực tế hóa ra chỉ là sản phẩm của hiện tượng "ảo giác AI".
Bài đăng trên Reddit (hiện tại đã bị xóa)
Điều đáng sợ nhất là cách AI giải thích mọi thứ. Nó không chỉ đưa ra con số mà còn cung cấp lý do, phân tích xu hướng và đề xuất hành động một cách cực kỳ tự tin. Sự tự tin đó khiến không ai đặt câu hỏi. Trong một tổ chức nơi mọi người không có nền tảng kỹ thuật để hiểu cách AI xử lý dữ liệu, các lỗi chỉ âm thầm chồng chất mà không bị phát hiện.
Giờ đây, công ty phải đối mặt với hậu quả thảm khốc. Họ buộc phải xem xét lại mọi quyết định được đưa ra trong quý 4 dựa trên báo cáo của AI. Đội pháp lý đã tham gia vào cuộc để đánh giá mức độ thiệt hại và trách nhiệm pháp lý tiềm ẩn. Những hậu quả nội bộ nghiêm trọng đang hiện ra, và có khả năng một số người sẽ mất việc.
"Phần tồi tệ nhất là tôi đã nêu lo ngại về việc cần xác thực vào tháng 11 và bị nói rằng đang làm chậm đổi mới" - nhân viên viết với sự cay đắng. Giờ đây, lời cảnh báo của anh ta đã trở thành hiện thực theo cách tồi tệ nhất có thể. Những gì anh ta lo sợ đã xảy ra chính xác như dự đoán, nhưng đã quá muộn để ngăn chặn.
"Hãy nói cho tôi biết có ai đã đối phó với điều này chưa. Làm thế nào để sửa chữa một điều như thế này?" - nhân viên kết thúc bài đăng với lời cầu cứu. "Tôi đang hoảng loạn."
Câu chuyện này đã thu hút sự chú ý lớn trên Reddit và các diễn đàn công nghệ. Nhiều người cho biết họ cũng đã chứng kiến tình huống tương tự ở nơi làm việc, trong khi một số người khác lại hoài nghi về mức độ xác thực của câu chuyện vì thật khó tin khi những quyết định quan trọng như vậy lại hoàn toàn phó mặc cho AI.