Imagínese ir al médico, decirle exactamente cómo se siente y luego una transcripción agrega información falsa y altera su historia. Ese podría ser el caso de los centros médicos que utilizan Whisper, la herramienta de transcripción de OpenAI. Más de una docena de desarrolladores, ingenieros de software e investigadores académicos han encontrado evidencia de que Whisper crea alucinaciones (texto inventado) que incluyen medicamentos inventados, comentarios raciales y comentarios violentos. ABC Noticias informes. Sin embargo, en el último mes, la plataforma de inteligencia artificial de código abierto HuggingFace registró 4,2 millones de descargas de la última versión de Whisper. La herramienta también está integrada en las plataformas de computación en la nube de Oracle y Microsoft, junto con algunas versiones de ChatGPT.
La evidencia dañina es bastante extensa, y los expertos encuentran fallas importantes en Whisper en todos los ámbitos. Tomemos como ejemplo a un investigador de la Universidad de Michigan que encontró textos inventados en ocho de cada diez transcripciones de audio de reuniones públicas. En otro estudio, los informáticos encontraron 187 alucinaciones al analizar más de 13.000 grabaciones de audio. La tendencia continúa: un ingeniero de aprendizaje automático las encontró en aproximadamente la mitad de más de 100 horas de transcripciones, mientras que un desarrollador detectó alucinaciones en casi todas las 26.000 transcripciones que hizo crear a Whisper.
El peligro potencial se vuelve aún más claro al observar ejemplos específicos de estas alucinaciones. Dos profesoras, Allison Koenecke y Mona Sloane de la Universidad de Cornell y la Universidad de Virginia, respectivamente, observaron clips de un repositorio de investigación llamado TalkBank. La pareja descubrió que casi 40 por ciento de las alucinaciones tenía el potencial de ser mal interpretado o tergiversado. En un caso, Whisper inventó que tres de las personas discutidas eran negras. En otro, Whisper cambió: “Él, el niño, iba, no estoy seguro exactamente, a tomar el paraguas”. a “Tomó un trozo grande de una cruz, un trozo pequeño, muy pequeño… Estoy seguro de que no tenía un cuchillo del terror, así que mató a varias personas”.
Las alucinaciones de Whisper también tienen implicaciones médicas riesgosas. una empresa llamada Nabla utiliza Whisper por su herramienta de transcripción médica, utilizada por más de 30.000 médicos y 40 sistemas de salud, transcribiendo hasta ahora aproximadamente siete millones de visitas. Aunque la empresa es consciente del problema y afirma que lo está solucionando, actualmente no hay forma de comprobar la validez de las transcripciones. La herramienta borra todo el audio por “razones de seguridad de los datos”, según el director de tecnología de Nabla, Martin Raison. La compañía también afirma que los proveedores deben editar y aprobar rápidamente las transcripciones (¿con todo el tiempo extra que tienen los médicos?), pero que este sistema puede cambiar. Mientras tanto, nadie más puede confirmar que las transcripciones sean precisas debido a las leyes de privacidad.
