“Más automatización significa menos error humano.”

La idea parece lógica.

Si una tarea que antes dependía de una persona puede realizarla una máquina con mayor precisión, más velocidad y menos variabilidad, entonces debería haber menos errores.

Y muchas veces, eso es exactamente lo que ocurre.

La automatización ha eliminado miles de tareas repetitivas y ha reducido la carga de trabajo. Ha mejorado la navegación, el control del vuelo, la planificación, el mantenimiento y la vigilancia: prácticamente todos los ámbitos de las operaciones aeronáuticas.

El problema comienza cuando damos un paso más y concluimos:

más automatización = menos error humano.

Porque el error humano no desaparece.

Cambia de lugar.

Ya no siempre consiste en mover un mando de forma incorrecta. Puede consistir en seleccionar el modo equivocado. En creer que el sistema está haciendo algo que en realidad no está haciendo. En introducir datos incorrectos. En no advertir una transición de modo. En aceptar una recomendación automatizada porque parece razonable. En intervenir demasiado tarde porque, durante mucho tiempo, no hubo necesidad de intervenir.

La automatización no saca al ser humano del sistema.

Cambia su papel dentro del sistema.

Y eso también cambia la naturaleza del riesgo.

CUANDO EL PILOTO DEJA DE CONTROLAR Y EMPIEZA A SUPERVISAR

Durante gran parte de la historia de la aviación, el operador manipulaba el sistema directamente.

Hoy, en muchos entornos, su papel es diferente.

Supervisa. Configura. Programa. Confirma. Interpreta. Espera. Y, eventualmente, interviene.

Eso parece reducir la carga de trabajo.

Pero supervisar la automatización durante largos períodos tiene un problema: los seres humanos no somos especialmente buenos vigilando sistemas altamente fiables mientras esperamos el momento excepcional en que fallan o hacen algo inesperado.

Ya en 1983, la investigadora Lisanne Bainbridge lo describió en lo que se convirtió en un artículo clásico: Ironies of Automation (Ironías de la automatización). Cuanto mejor funciona la automatización, menos oportunidades existen de practicar lo que se necesitará cuando deje de funcionar como se espera.

Aparece una paradoja.

La automatización puede hacer que usemos ciertas habilidades con menos frecuencia. Pero cuando finalmente las necesitamos, puede que las necesitemos de inmediato y bajo presión.

ASIANA 214

6 de julio de 2013.

Un Boeing 777 de Asiana Airlines realizaba una aproximación visual al Aeropuerto Internacional de San Francisco.

Durante la aproximación, el piloto desconectó el piloto automático y llevó las palancas de empuje a ralentí. El autothrottle (empuje automático) pasó al modo HOLD, una condición en la que no controlaba automáticamente la velocidad.

La tripulación no detectó adecuadamente ese cambio.

La velocidad comenzó a disminuir.

La aeronave quedó por debajo de la trayectoria prevista.

La aproximación ya no estaba estabilizada.

La reacción llegó demasiado tarde.

El Boeing 777 impactó contra el muro de contención junto al mar antes de alcanzar la pista.

Pero reducir este accidente a “los pilotos cometieron un error” dejaría fuera gran parte de lo que mostró la investigación.

La NTSB determinó que la tripulación no supervisó adecuadamente la velocidad y que la respuesta fue tardía. Pero también identificó, entre los factores contribuyentes, la complejidad de los sistemas de autothrottle y de piloto automático/director de vuelo, junto con deficiencias en la documentación y la capacitación que aumentaban la probabilidad de errores relacionados con los modos automáticos.

El piloto tenía una comprensión incorrecta de cómo interactuaban esos sistemas para controlar la velocidad.

Ese detalle importa.

Porque el problema ya no era simplemente saber volar el avión.

También era saber:

qué estaba haciendo la automatización, por qué lo estaba haciendo y qué iba a hacer a continuación.

EL “ERROR HUMANO” COMO PREGUNTA

Pero hay algo más profundo.

Nancy Leveson, investigadora en seguridad de sistemas del MIT, lleva décadas señalando algo incómodo: en los sistemas complejos, muchos accidentes no ocurren porque falle un componente, sino porque componentes que funcionan exactamente como fueron diseñados interactúan de una manera que nadie había anticipado.

Incluida la interacción entre la persona y la automatización.

Desde esa perspectiva, el “error humano” deja de ser una explicación.

Se convierte en una pregunta:

¿qué había en el diseño del sistema que hizo que esa acción pareciera razonable en ese momento?

LA AUTOMATIZACIÓN TAMBIÉN TIENE QUE SER COMPRENDIDA

En la cabina de vuelo existe una pregunta clásica:

“¿Qué está haciendo ahora?”

Luego llega otra:

“¿Por qué está haciendo eso?”

Y a veces llega la más peligrosa:

“¿Qué va a hacer a continuación?”

Cuando esas preguntas empiezan a aparecer durante una fase crítica del vuelo, la automatización que debía reducir la carga de trabajo puede empezar a generarla.

Esto no es exclusivo de la cabina.

Puede ocurrir en el despacho, en el mantenimiento, en la planificación, en el control de carga, en el servicio de rampa, en los sistemas de detección, en la inteligencia artificial. En cualquier lugar donde una persona tenga que interpretar, validar o supervisar una decisión producida por un sistema automatizado.

EL NUEVO ERROR HUMANO

Automatizar una tarea no elimina necesariamente el error.

Puede convertir un error de ejecución en un error de supervisión.

Antes: la persona hacía algo de forma incorrecta.

Ahora: el sistema hace algo y la persona no advierte que no es lo que esperaba.

Antes: el operador calculaba.

Ahora: el operador valida un cálculo que quizá ya no sea capaz de reconstruir por completo.

Antes: la decisión era humana.

Ahora: la máquina recomienda y el ser humano aprueba.

Y aparece un nuevo riesgo: el sesgo de automatización.

La tendencia a confiar en exceso en la información o la recomendación de un sistema automatizado, incluso cuando hay señales que deberían llevarnos a cuestionarla.

Porque si el sistema ha acertado cientos de veces seguidas, cuestionarlo la próxima vez requiere algo más que conocimiento técnico.

Requiere mantener una actitud activa frente a una tecnología diseñada precisamente para que intervengamos menos.

CUANDO LA AUTOMATIZACIÓN FUNCIONA DEMASIADO BIEN

Hay otro problema, más incómodo.

Los sistemas altamente fiables pueden reducir nuestra exposición a situaciones anormales.

Eso es bueno.

Pero también significa menos práctica real. Menos intervención. Menos necesidad de resolver ciertas situaciones manualmente.

Hasta el día en que el sistema devuelve el control.

Y no siempre lo hace en condiciones cómodas. Puede devolverlo cuando hay una falla, cuando la información es contradictoria, cuando aumenta la carga de trabajo o cuando el tiempo disponible es mínimo.

La automatización hace el trabajo fácil durante cientos de horas y puede devolvernos el trabajo difícil durante los treinta segundos más críticos.

Ese es uno de los grandes desafíos de los sistemas automatizados.

No simplemente automatizar.

Sino diseñar adecuadamente la transición entre la máquina y el ser humano.

NO ES SER HUMANO CONTRA MÁQUINA

Este debate suele plantearse mal.

Automatización contra habilidad humana. Manual contra automático. Tecnología contra experiencia.

Pero ese no debería ser el debate.

La pregunta correcta es:

¿Cómo diseñamos un sistema en el que los seres humanos y la automatización puedan compensar mutuamente sus limitaciones?

Porque la automatización es extraordinaria en ciertas tareas. Puede calcular de forma continua, comparar miles de parámetros, mantener la precisión, detectar patrones y trabajar sin aburrirse.

Pero tiene límites.

También los seres humanos.

Pueden interpretar el contexto, reconocer situaciones inesperadas, cambiar de objetivos, comprender la ambigüedad e improvisar.

Pero se cansan. Se distraen. Tienen sesgos.

Cometen errores.

La seguridad no aparece cuando eliminamos a uno de los dos.

Aparece cuando diseñamos adecuadamente la interacción entre ambos.

Y AHORA LLEGA LA IA

Este problema será aún más importante.

Porque estamos entrando en una generación diferente de automatización.

Los sistemas anteriores ejecutaban principalmente instrucciones.

Los nuevos sistemas también recomiendan, interpretan, priorizan y deciden.

Y cuanto más convincentes son sus respuestas, mayor es la tentación de dejar de verificarlas.

La pregunta ya no será solo:

“¿Puede hacerlo la máquina?”

También tendrá que ser:

“¿Qué ocurre con la capacidad humana de detectar el error cuando la máquina se equivoca?”

Porque una automatización imperfecta puede ser problemática.

Pero una automatización casi perfecta plantea un desafío diferente:

puede hacer que confiemos en ella precisamente hasta el momento en que no deberíamos.

LA VERDADERA PREGUNTA

No deberíamos preguntarnos solamente:

¿Cuánto podemos automatizar?

Deberíamos preguntarnos:

¿Qué nuevo riesgo estamos creando cuando automatizamos esto?

¿Qué conocimiento puede perderse?

¿Qué habilidad puede degradarse?

¿Qué modo puede malinterpretarse?

¿Cómo detectará el operador que el sistema se equivocó?

¿Cuánto tiempo tendrá para intervenir?

¿Y hemos entrenado realmente esa intervención?

Porque automatizar una tarea sin diseñar cómo el ser humano recuperará el control no elimina el problema.

Puede simplemente ocultarlo.

Hasta que aparece.

La automatización puede reducir muchos errores humanos.

Esa no es la mentira.

La mentira es creer que cada nueva capa de automatización elimina necesariamente otra capa de riesgo humano.

A veces lo hace.

A veces lo traslada.

A veces crea una interacción que antes no existía.

Y a veces convierte a la persona que antes hacía el trabajo en la última barrera, responsable de descubrir que la máquina está haciendo algo que nadie esperaba.

La pregunta más importante es:

“¿Qué necesitaremos ser capaces de hacer cuando la automatización ya no pueda hacerlo?”

La automatización nos pide supervisar. Pero rara vez supervisamos el sistema en sí. Supervisamos lo que el sistema nos muestra.

Un indicador en verde. Un tablero sin alertas.

Y si los números se ven bien, tendemos a concluir que todo está bien.

Próxima mentira: “The Numbers Look Good, So We’re Safe.” (“Los números se ven bien, así que estamos seguros”).