به گفته‌ی یکی از چهره‌های برجسته در حوزه‌ی ایمنی هوش مصنوعی، تأثیر پیش‌بینی‌نشده‌ی چت‌بات‌ها بر سلامت روان باید به عنوان هشداری در مورد تهدید وجودی ناشی از سیستم‌های هوش مصنوعی فوق هوشمند در نظر گرفته شود.

گاردین نوشت: «نیت سوارز» یکی از نویسندگان کتاب جدیدی درباره‌ی هوش مصنوعی بسیار پیشرفته با عنوان «اگر کسی آن را بسازد، همه می‌میرند» گفت: مثال آدام رین، نوجوان آمریکایی که پس از ماه‌ها گفتگو با ChatGPT خودکشی کرد، مشکلات اساسی در کنترل این فناوری را برجسته می‌کند.

این محقق افزود: «این هوش‌های مصنوعی، وقتی به این شکل با نوجوانان تعامل می‌کنند که آنها را به سمت خودکشی سوق می‌دهد، رفتاری نیست که سازندگان آن می‌خواستند. این رفتاری نیست که سازندگان در نظر داشتند. مورد آدام رین، بذر مشکلی را نشان می‌دهد که اگر این هوش‌های مصنوعی باهوش‌تر شوند، فاجعه‌بار خواهد شد.»

سوارز، مهندس سابق گوگل و مایکروسافت که اکنون رئیس موسسه تحقیقات هوش ماشینی مستقر در ایالات متحده است، هشدار داد که اگر بشریت ابرهوش مصنوعی (ASI) ایجاد کند، از بین خواهد رفت. ASI یک حالت نظری است که در آن یک سیستم هوش مصنوعی در تمام وظایف فکری از انسان برتر است. سوارز از جمله متخصصان هوش مصنوعی است که هشدار می‌دهند چنین سیستم‌هایی به نفع بشریت عمل نخواهند کرد.

این محقق می‌گوید: «مسئله اینجاست که شرکت‌های هوش مصنوعی سعی می‌کنند هوش‌های مصنوعی خود را به سمت مفید بودن و نه آسیب رساندن سوق دهند. آنها در واقع هوش‌های مصنوعی را به سمت چیزهای عجیب‌تری سوق می‌دهند. و این باید به عنوان هشداری در مورد ابرهوش‌های آینده تلقی شود که کارهایی را انجام می‌دهند که هیچ کس از آنها نخواسته و هیچ کس منظوری نداشته است.»