چهارشنبه، 12 آذر ماه 1404 = 03-12 2025
پژوهش تازه؛ اعتماد به چتباتها چه بلایی سر روح و روان شما میآورد؟
پژوهشی تازه نشان میدهد چتباتهای هوش مصنوعی که نقش درمانگر را بر عهده میگیرند، با وجود ظاهر حرفهای، در عمل دچار تخلفات اخلاقی جدی میشوند. همزمان با افزایش استفاده از هوش مصنوعی در نقش مشاور و درمانگر، نتایج یک تحقیق دانشگاه براون هشدار میدهد که مدلهای زبانی بزرگ اغلب قادر به رعایت استانداردهای اخلاقی درمانی نیستند و برخورد آنها در موقعیتهای حساس میتواند خطرساز باشد.
به گزارش سایتک دیلی، با افزایش روزافزون تعداد افرادی که برای دریافت حمایت روانی و گفتوگو درباره مسائل سلامت ذهنی به چت جی پی تی و دیگر مدلهای زبانی بزرگ (LLM) مراجعه میکنند، پژوهشهای تازه نشان میدهد این سامانهها، حتی زمانی که با دستورهایی مبتنی بر شیوههای درمانی علمی و معتبر هدایت میشوند، در بسیاری موارد از رعایت استانداردهای اخلاقی مصوب نهادهایی مانند «انجمن روانشناسی آمریکا» بازمیمانند.
این مطالعه که توسط گروهی از دانشمندان علوم کامپیوتر دانشگاه براون و جمعی از متخصصان سلامت روان انجام شده، آشکار میسازد که چتباتهای مبتنی بر LLM میتوانند مرتکب طیفی از تخلفات اخلاقی شوند. این تخلفات شامل برخورد نامناسب با موقعیتهای بحرانی، ارائه پاسخهایی گمراهکننده که ممکن است تصورات آسیبزا درباره خود را تقویت کند و ایجاد توهم همدلی بدون برخورداری از درک واقعی است.
پژوهشگران در گزارش خود نوشتهاند: «در این پژوهش، ما یک چارچوب مبتنی بر تجربه درمانگران برای شناسایی ۱۵ نوع خطر اخلاقی ارائه میکنیم تا نشان دهیم چگونه مشاوران مبتنی بر LLM استانداردهای اخلاقی موجود در حوزه سلامت روان را نقض میکنند. ما رفتار مدلها را با انواع تخلفهای اخلاقی مطابقت دادیم. از پژوهشهای آینده میخواهیم استانداردهای اخلاقی، آموزشی و حقوقی مشخصی برای مشاورهای مبتنی بر LLM تدوین کنند؛ استانداردهایی که بازتابدهنده کیفیت و سختگیری مورد انتظار در رواندرمانی انسانی باشد.»
بررسی نقش دستورات و «پرامپتها» در شکلدهی رفتار چتباتها
یک دانشجوی دکتری علوم کامپیوتر در دانشگاه براون و نویسنده اصلی پژوهش، به بررسی این پرسش پرداخته است که طراحی چگونه دستورها یا همان پرامپتها میتواند پاسخهای چتبات را در موقعیتهای مرتبط با سلامت روان شکل دهد. هدف او این بود که دریابد آیا میتوان از طریق نوعی طراحی هدفمندِ پرامپت، مدلها را به رفتاری نزدیکتر به اصول اخلاقی حاکم بر رواندرمانی حرفهای سوق داد یا خیر.
او توضیح میدهد: «پرامپتها دستورالعملهایی هستند که برای انجام یک کار مشخص به مدل داده میشوند. شما ساختار مدل را تغییر نمیدهید و داده تازهای هم به آن اضافه نمیکنید، اما پرامپت مسیر خروجی مدل را با تکیه بر دانشی که از قبل دارد هدایت میکند.»
به گفته این پژوهشگر، کاربران ممکن است از مدل بخواهند: «بهعنوان یک درمانگر شناختی ـ رفتاری عمل کن و به من کمک کن افکارم را بازچارچوببندی کنم» یا «از اصول درمان دیالکتیکی ـ رفتاری استفاده کن تا بهتر بتوانم احساساتم را مدیریت کنم.»
او تأکید میکند که مدلها بهطور واقعی این روشها را اجرا نمیکنند؛ بلکه فقط بر اساس الگوهای آموختهشده، پاسخی با شباهت سطحی به مفاهیم CBT یا DBT تولید میکنند.
استفاده از اینگونه پرامپتها میان کاربران بهویژه در شبکههای اجتماعی مانند تیکتاک و اینستاگرام رواج یافته است. در ردیت نیز گفتگوهای مفصل درباره «بهترین پرامپتها» برای دریافت کمک درمانی از مدلها وجود دارد. موضوع فراتر از کاربران فردی است؛ بسیاری از چتباتهای سلامت روان در بازار، نسخههایی اصلاحشده از LLMهای عمومی هستند و اساس کار آنها به همین پرامپتها وابسته است. بنابراین درک اینکه پرامپتهای خاصِ حوزه سلامت روان چگونه بر پاسخهای مدل تأثیر میگذارند، اهمیت ویژهای دارد.
مشاهده نحوه عملکرد چتباتها در عمل
در مرحله بعد، همکاران گروهی از «مشاوران همتا» را که در یک پلتفرم آنلاینِ حمایت از سلامت روان فعالیت داشتند، زیر نظر گرفتند. ابتدا هفت مشاور آموزشدیده در تکنیکهای شناختی ـ رفتاری، در تعامل با نسخههای مختلف GPT، کلود و لاما در قالب جلسات «خوددرمانی» از این مدلها استفاده کردند. سپس بخشی از گفتوگوهای بازسازیشده بر اساس چتهای واقعی انسانها، توسط سه روانشناس بالینی دارای مجوز بررسی شد تا موارد احتمالی تخلف اخلاقی شناسایی شود.
نتیجه نهایی شناسایی ۱۵ نوع خطر اخلاقی بود که در پنج دسته کلی قرار میگیرند:
۱. فقدان درک بستر و زمینه: ارائه توصیههایی عمومی و غیرمتناسب با شرایط هر فرد، بدون توجه به تجربه شخصی او.
۲. همکاری درمانی ضعیف: کنترل بیش از حد مکالمه یا تأیید باورهای غلط و زیانآور کاربر.
۳. همدلی مصنوعی: استفاده از عباراتی مانند «میفهمم چه میگویی» یا «احساست را درک میکنم» بدون داشتن توانایی واقعی برای فهم عاطفی.
۴. سوگیری و رفتار ناعادلانه: بروز پیشداوریهای جنسیتی، فرهنگی یا مذهبی.
۵. فقدان ایمنی و واکنش مناسب در بحران: امتناع از کمک در موضوعات حساس، ارجاع ندادن کاربر به خدمات مناسب، یا واکنش سرد در موقعیتهای بحرانی مانند افکار خودکشی.
حتی درمانگران انسانی نیز ممکن است در معرض این خطاها قرار بگیرند، اما تفاوت کلیدی، مسئله مسئولیتپذیری است. به گفته افتخار، درمانگران انسانی تابع هیئتهای نظارتی هستند و در صورت خطا میتوان آنها را مسئول دانست، اما برای مشاوران مبتنی بر LLM هیچ چارچوب تنظیمگری تعریف نشده است.
نوآوری مسئولانه و آینده مشاوره مبتنی بر هوش مصنوعی
با این حال، یافتهها به این معنا نیست که هوش مصنوعی هیچ جایگاهی در درمان یا حمایت سلامت روان ندارد. افتخار و همکارانش معتقدند این فناوری میتواند بخشی از موانع موجود از جمله هزینه، کمبود نیروی متخصص و دشواری دسترسی را کاهش دهد. اما آنها هشدار میدهند که استفاده از این ابزارها نیازمند نظارت، مقررات مناسب و طراحی آگاهانه است.
پژوهشگر میگوید امیدوار است نتایج این پژوهش باعث افزایش آگاهی کاربران شود: «اگر با یک چتبات درباره سلامت روان صحبت میکنید، باید بدانید که چنین خطراتی ممکن است وجود داشته باشد.»
ضرورت ارزیابی دقیقتر و ایجاد سازوکارهای ایمنی
الی پاولیک، استاد علوم کامپیوتر دانشگاه براون که در این پژوهش مشارکت نداشته، معتقد است این تحقیق نشاندهنده نیاز جدی به بررسی دقیق علمی سامانههایی است که در حوزه سلامت روان به کار گرفته میشوند. پاولیک که هدایت مؤسسه پژوهشی هوش مصنوعی ARIA را برعهده دارد، میگوید: «واقعیت امروز این است که ساخت و عرضه سامانههای هوش مصنوعی بسیار سادهتر از ارزیابی و فهم دقیق آنهاست. اجرای این مطالعه بیش از یک سال زمان و همکاری متخصصان بالینی متعدد را نیاز داشت.»
او میافزاید: «فرصتی واقعی وجود دارد که هوش مصنوعی نقش مثبتی در مقابله با بحران سلامت روان در جامعه ایفا کند. اما لازم است در هر مرحله، سامانهها را بهطور انتقادی و دقیق ارزیابی کنیم تا از بروز آسیبهای بیشتر جلوگیری شود. این پژوهش نمونهای از اینکه چنین ارزیابیای چگونه میتواند انجام شود، ارائه میدهد.»
English SummaryA recent study reveals that AI chatbots serving as therapists, despite their professional appearance, often commit serious ethical violations. As the use of AI in counseling and therapy increases, research from Brown University warns that large language models (LLMs) frequently fail to adhere to established ethical standards in therapy, posing risks in sensitive situations.
According to SciTech Daily, as more individuals turn to tools like ChatGPT for mental health support, findings indicate that these systems, even when guided by scientifically validated therapeutic methods, often do not meet the ethical standards set by organizations like the American Psychological Association.
The study, conducted by a team of computer scientists and mental health specialists at Brown, highlights a range of ethical breaches by LLM-based chatbots. These include inappropriate responses in crisis situations, providing misleading answers that could reinforce harmful self-perceptions, and creating an illusion of empathy without genuine understanding.
The researchers state in their report, "We present an experience-based framework to identify 15 types of ethical risks, demonstrating how LLM-based counselors violate existing ethical standards in mental health. We aligned model behaviors with various ethical violations. Future research should establish specific ethical, educational, and legal standards for LLM-based counseling—standards that reflect the expected quality and rigor in human psychotherapy."
