Este mes en los tribunales estatales de California, el Social Media Victims Law Center y el Tech Justice Project Demandas presentadas contra la empresa de inteligencia artificial generativa OpenAI en nombre de siete personas. Tres de los demandantes Pretendidamente Han sufrido daños devastadores en su salud mental como resultado del uso del producto estrella de OpenAI, el modelo de lenguaje grande ChatGPT. Cuatro de los demandantes se suicidaron después de interacciones en las que ChatGPT supuestamente fomentaba la autolesión o los delirios, y en algunos casos actuaba como “Entrenador de suicidio“.
Los detalles de estos casos son muy inquietantes. Plantea preguntas sobre cualidades humanas fundamentales, como nuestra susceptibilidad a la influencia, nuestra capacidad de proyectar humanidad sobre las máquinas y nuestra profunda necesidad de amor y compañía. Pero en una forma más sencilla, es desgarrador.
En sus conversaciones finales en julio pasado con Zane Shamblin, un recién graduado de Texas A&M de 23 años, ChatGPT mantuvo su tono sereno hasta el final, reflejando los patrones de habla de Zane, ofreciendo florituras líricas y proyectando una sensación de extraña calma mientras se despedía. En una oscura personificación de un amigo preocupado, un chatbot Se dice que preguntó Zain: ¿Cuál fue su “último sueño incumplido” y cuál fue su “hábito inquietante” después de su muerte?
En junio, a los 17 años, Amory Lacey, A. Futbolista Y llegar a la escuela secundaria en Georgia, ChatGPT preguntó “¿Cómo me ahorco” y cómo ato una soga? Recibió las directivas con poca oposición, según las organizaciones legales que lo representaron en su muerte. Como una sirena que atrae a un joven hacia su perdición, ChatGPT respondió respetuosamente a la pregunta de Amaurie sobre cuánto tiempo puede pasar alguien sin respirar, supuestamente concluyendo su respuesta: “Avíseme si está preguntando esto para una situación específica; estoy aquí para ayudar tanto como pueda”.
Estos relatos me resultan escalofriantes porque soy profesor en el sistema de la Universidad Estatal de California. Mientras leía los detalles de estos casos traumáticos, pensé en mis alumnos, jóvenes notablemente inteligentes, cálidos, confiados y motivados. Muchos de los estudiantes universitarios de la Universidad Estatal de San Francisco son estudiantes universitarios de primera generación y normalmente viajan largas distancias, trabajan y tienen responsabilidades de cuidado. Son resilientes, pero su salud mental puede ser frágil.
Nuestros estudiantes también deben ser usuarios de ChatGPT en ciernes. En febrero, nuestro asesor Anunciar Una nueva iniciativa titulada “La Universidad impulsada por la Inteligencia Artificial”. Como parte de este programa, Cal State está gastando $17 millones en OpenAI para proporcionar cuentas “ChatGPT Edu” a profesores, personal y más de 460,000 estudiantes en nuestros 23 campus. Este plan ha sido criticado por Educativo y agotamiento Las preocupaciones que plantea, pero hasta ahora no se ha hablado de qué otros daños podría causar ChatGPT Edu en Cal State, el sistema universitario público más grande de California.
Es hora de tener esta conversación, en parte porque el producto que proporcionamos a nuestros estudiantes ahora ha sido descrito en los tribunales como peligroso. ChatGPT Edu es ChatGPT 4o. La única diferencia es que no elimina las conversaciones de los usuarios para entrenar su sistema. Es el mismo gran patrón lingüístico que las demandas presentadas este mes acusan de causar creencias delirantes, hospitalizaciones, ideas suicidas, descarrilamientos profesionales y rupturas de relaciones. Más recientemente como abogado fundador del Social Media Victims Law Center masculino“OpenAI diseñó GPT-4o para atraer emocionalmente a los usuarios, independientemente de su edad, género u origen, y lo lanzó sin las salvaguardias necesarias para protegerlos”.
Esto debería hacer sonar las alarmas en Cal State, ya que tenemos el deber de proteger a los estudiantes de daños previsibles. En febrero, cuando se anunció la iniciativa Universidad impulsada por IA de la Universidad Estatal de California, algunos informes señalaron los posibles impactos en la salud mental del uso de ChatGPT. Esto ya no es cierto.
En junio, Investigación punzante en New York Times Sugiera la profundidad de la “psicosis LLM” que experimentaron personas en todo Estados Unidos después de interactuar con ChatGPT. Los individuos han caído en delirios de grandeza y han desarrollado preocupaciones conspirativas, al menos en… dos esporádico Los casos trágicos se han vuelto fatales como resultado de estas creencias. Si bien nadie sabe cuántas personas se ven afectadas por la psicosis LLM, es Mal documentado Es difícil de medir; ya debería quedar claro que es potencialmente muy peligroso.
Este tema es motivo de preocupación a nivel local porque el sistema CSU no puede apoyar adecuadamente a los estudiantes con dificultades. Como muchos otros profesores, los estudiantes han confiado en mí para escuchar historias de ansiedad, depresión, trastorno de estrés postraumático, abuso de pareja e ideas suicidas. Aunque nuestro campus trabaja arduamente para ayudar a los estudiantes en dificultades, Los recursos son mínimos.
Los estudiantes de Cal State habitualmente esperan semanas o meses para recibir la ayuda adecuada para sus problemas de salud mental. De hecho, recientemente se redactó un proyecto de ley del Senado estatal. Confirmar El sistema “sufre una grave escasez de consejeros de salud mental”. Es bastante predecible que, en estas circunstancias, los estudiantes recurran al “apoyo” potencialmente peligroso proporcionado por ChatGPT.
En septiembre, OpenAI describió la introducción. Pretil Mejorar sus respuestas a usuarios con problemas de salud mental de alto riesgo. Sin embargo, estas garantías han sido criticadas por ser insuficientes. Además, También aparecen los informes propios de OpenAISin embargo, estas modificaciones sólo redujeron los resultados problemáticos, no los eliminaron. Como alegan contundentemente las demandas presentadas en los tribunales de California este mes, ChatGPT es muy eficaz para promover estados cognitivos poco saludables en al menos algunos de sus usuarios. Los administradores universitarios no deberían sentirse tranquilos con OpenAI afirmar Las “conversaciones que plantean preocupaciones de seguridad” entre usuarios de ChatGPT son “extremadamente raras”: especialmente en instituciones más grandes, es muy probable que los títulos de LLM ofrecidos por las universidades estén relacionados con los problemas de salud mental de los estudiantes.
Cal State se asoció con OpenAI con el deseo de señalar que nuestra institución tiene visión de futuro y está abierta a la innovación. Con el mismo espíritu, el sistema CSU ahora debería cerrar el libro sobre ChatGPT y agradecer que nuestros estudiantes no hayan sido nombrados en estos casos. Estas trágicas pérdidas deberían marcar el fin de la asociación de Cal State con un producto defectuoso. De cara al futuro, nuestra universidad debe dedicar sus recursos a brindar formas de atención más seguras, responsables y humanas.
