حذّر باحثون وخبراء من أن السباق العالمي لبناء أنظمة أقوى قد يدفع إلى ذكاء فائق يصعب على البشر السيطرة عليه. وتزامن ذلك مع استقالة الباحث جاكوب كوكسون من "أنثروبيك"، بعدما قال إن الشركات الكبرى تتسابق نحو أنظمة قادرة على تحسين نفسها، بينما قدّر إيفان هوبينجر خطر تدمير البشرية بأكثر من 10% خلال العقد المقبل.
وتقول خبيرة التكنولوجيا كيم كوماندو إن الخطر لا يعني "آلة شريرة" بالضرورة، وإن موعد الذكاء الفائق غير معروف. ولتقليل المخاطر الآن، تنصح بعدم منح وكلاء الذكاء الاصطناعي صلاحيات واسعة على الحسابات الحساسة، خصوصا البنك والبريد الرئيسي وحسابات رموز المرور، مع استخدام حسابات منفصلة، وتفعيل التحديثات التلقائية والمصادقة الثنائية ومدير كلمات المرور والنسخ الاحتياطية.