No seamos nosotros los autómatas
Por qué las máquinas no pueden tomar las decisiones que nos hacen humanos.
No seamos nosotros los autómatas
Tenemos miedo de que las máquinas piensen como humanos. Lo que debería asustarnos más es cuando los humanos piensan como máquinas.
Llevo años hablando de algoritmos, datos e inteligencia artificial, y a veces me da la sensación de que para mucha gente estos temas aparecieron ayer. Como si la pregunta de “¿quién toma las decisiones?” fuera nueva y no lo es. HAL 9000 ya tomó el control de la nave en 2001: Odisea del espacio, varios años antes de que Arnold Schwarzenegger dijera su famoso I’ll be back. Llevamos décadas procesando este miedo en las películas. El problema es que mientras mirábamos la pantalla con los ojos abiertos, no notamos lo que pasaba fuera de ella.
Hay leyes absurdas en casi cualquier ciudad del mundo. No en las películas: en algún lugar cerca de ti existe una ordenanza que prohíbe caminar por la calle llevando un burro con una cuerda, porque doscientos años atrás un alcalde tenía un problema con alguien que hacía exactamente eso. Cuando estaba recopilando información para una guía de Caracas usé El Hatillo como piloto, y el historiador del pueblo me contó que allí está prohibido tocar arpa, cuatro y maracas después de cierta hora — por una razón igualmente insólita. La norma quedó. La razón, nadie la recuerda ya.
Esto importa porque es exactamente así como funcionan muchos algoritmos. Son normas solidificadas, decisiones tomadas en un momento determinado por personas con sesgos determinados, aplicadas automáticamente a contextos que sus creadores nunca imaginaron. Hay estudios que demuestran que algunos sistemas de selección de personal fueron entrenados con datos de hombres y se aplican a mujeres con resultados que no son justos, que no son correctos, y que en muchos casos no son legales. El algoritmo no lo sabe. El algoritmo no puede saber.
Por eso siempre digo que la decisión final la debe tomar un humano. Hay cosas que podemos y debemos delegar: qué ruta tomar, a qué hora salir, cómo tabular un depósito enorme de datos que tomaría años revisar manualmente. Eso nos ayuda a ir más rápido. El problema es que no sirve de nada ir rápido si no vas en la dirección correcta.
Pero lo que más me aterra no es HAL tomando el control. Lo que más me aterra es cuando los humanos toman decisiones como si fueran máquinas.
Esto es así. Así dice la norma. No hay nada que yo pueda hacer.
Cuando escucho eso, sé que alguien decidió no pensar. Que eligió la comodidad del procedimiento por encima de la responsabilidad de razonar. Las leyes existen por razones, y esas razones fueron válidas en un momento y en un contexto específicos. Es imposible que cualquier norma pueda anticipar todas las situaciones que aparecerán en el futuro. Por eso existen los jueces. Por eso existe la interpretación. Por eso el derecho tiene un principio fundamental: cuando hay una duda, cuando hay un vacío, cuando la intención de la ley no es clara, se debe actuar a favor del más débil. El ciudadano no puede ser castigado por un limbo legal que él no creó.
Dura lex, sed lex. Sí, la ley es dura, pero es la ley. De acuerdo. Pero si hay un vacío, aplicar el castigo de todos modos no es dura lex, es pereza. O es cobardía. O es, simplemente, comportarse como una máquina.
Tengo un primo que es una eminencia en medicina. Hace poco estuvo en un vuelo donde ocurrió una emergencia médica. No entró en pánico ni congeló su protocolo. Se detuvo a pensar: tenía conocimiento, tenía información, y tenía algo que ningún sistema puede tener: humanidad. Sus decisiones, en ese momento, probablemente le salvaron la vida a alguien. Eso no es improvisación, es preparación más criterio más empatía. Es lo que nos hace distintos.
No digo que ignoremos las reglas. El contrato social existe por algo, y sin ese orden no tendríamos civilización. Lo que digo es que seamos humanos al momento de tomar una decisión. Sí, puede tomarnos un minuto más detenernos a pensar si lo que estamos a punto de hacer va a afectar a una persona de carne y hueso. Un minuto. A veces menos. Ese minuto marca la diferencia entre aplicar una norma y hacer justicia.
Lo más peligroso de la inteligencia artificial no es Terminator. Es la coartada perfecta: “el sistema dice que no”, “así lo procesa el algoritmo”, “yo solo sigo el procedimiento”. La máquina como escudo para no tener que decidir. Para no tener que pensar. Para no tener que ser responsable.
Podemos delegar la velocidad a los sistemas. No podemos delegar el juicio.
Y mientras hablamos de eso: tampoco podemos delegar la creación. Un sistema que procesa datos a una velocidad que nunca vamos a igualar puede reorganizar lo que ya existe con una eficiencia extraordinaria. Pero el futuro no está en reorganizar, está en inventar. La creatividad no es síntesis del pasado; es construcción de algo que todavía no ha sido pensado. Y eso, hasta ahora, sigue siendo nuestro.
¿En qué momento cruzamos la línea entre usar una norma como guía y usarla como excusa para no pensar?
Sobre robots, papas y hobbits
Este artículo lo escribí porque era algo que me daba vueltas en la cabeza. Llevaba tiempo pensando en ello (en los algoritmos que deciden sin preguntar, en los humanos que obedecen sin pensar) y necesitaba ordenarlo en palabras. Cuando terminé, el fin de semana me trajo dos cosas que llegaron como si hubieran estado esperando que yo terminara de escribir.
La primera fue The AI Doc: Or How I Became an Apocaloptimist, un documental de 2026 dirigido por Daniel Roher (un padre a punto de serlo que decide entender, de primera mano, en qué mundo va a crecer su hijo). Para eso entrevista a los que saben: Sam Altman de OpenAI, Dario y Daniela Amodei de Anthropic, Demis Hassabis de Google DeepMind. La primera mitad del documental es francamente deprimente. La segunda es quizás demasiado optimista. Y al final llega a algo parecido al equilibrio: de ahí el término que da título al filme: apocaloptimista. Alguien que ve venir el apocalipsis, pero elige el optimismo de todas formas.
Lo que más me impactó no fue ninguna revelación técnica. Fue escuchar a los líderes de estas empresas (personas brillantes, genuinas, con buenas intenciones) explicar con toda claridad por qué no pueden parar. Por qué la carrera no se detiene. Por qué la lógica del sistema los obliga a correr aunque ellos mismos no estén seguros de adónde van. Básicamente: lo usamos, vemos los problemas, ajustamos en el camino. Lo cual está bien para iterar sobre una app. No está tan bien cuando los sistemas ya están tomando decisiones sobre tu cobertura médica, sobre quién recibe un crédito, sobre qué pasa en una infraestructura crítica.
La segunda cosa fue Magnifica Humanitas, el documento más reciente del Papa sobre tecnología y humanidad, que tiene una cita de Tolkien. De Gandalf, para ser precisos: “No nos atañe a nosotros dominar todas las mareas del mundo, sino hacer lo que está en nuestras manos por el bien de los días que nos ha tocado vivir, extirpando el mal en los campos que conocemos, y dejando a los que vendrán después una tierra limpia para la labranza.” No me esperaba encontrar a Gandalf en un documento papal. Pero tiene sentido. Y es una respuesta honesta a la angustia del documental: no tienes que resolver todo. Tienes que hacer bien lo que está en tus manos.
Todo esto me llevó a pensar en las Tres Leyes de la Robótica de Asimov. Las conoces (yo hasta una revista hice con ese tema): un robot no puede dañar a un ser humano, debe obedecer sus órdenes, y debe proteger su propia existencia, en ese orden de prioridad. Escritas en 1942. Lo fascinante de Asimov no es que haya acertado con las leyes, sino que pasó el resto de su carrera escribiendo cuentos sobre todas las formas en que esas leyes, perfectamente razonables, producían resultados impredecibles, paradójicos, o directamente trágicos. Porque el problema no era la ley. Era la realidad, que siempre es más compleja que cualquier conjunto de reglas.
Hoy necesitamos algo parecido. No tres leyes para robots, sino principios para nosotros. Para los que construyen, los que despliegan, los que regulan, los que usamos. Algo así:
Primero, ningún sistema automatizado debe tomar decisiones que afecten la vida, la salud, la libertad o los derechos de una persona sin que un ser humano pueda revisarlas, cuestionarlas y revertirlas.
Segundo, la velocidad de adopción de una tecnología debe ser proporcional a nuestra comprensión de sus consecuencias. Ir rápido en dirección equivocada no es progreso.
Tercero, la incertidumbre no es excusa para la inacción, pero tampoco es licencia para la irresponsabilidad. Que no sepamos exactamente qué va a pasar no significa que todo vale.
No son leyes perfectas. Asimov nos enseñó que las leyes perfectas no existen. Pero son un punto de partida para el debate que necesitamos tener y que afortunadamente ya está empezando a ocurrir, en los documentales, en las encíclicas, y en conversaciones como esta.
¿Cuáles serían tus tres leyes?
Este newsletter se sostiene básicamente con café, (muy importante), música, con los comentarios que me envían cada vez que algo de lo que escribo resuena con ustedes, y con sus subscripciones, gratuitas o de pago.
Puedes apoyar este proyecto aquí en Substack o en Patreón, o simplemente dejando un comentario y compartiéndolo con tus amigos.
Muchas gracias a quienes nos apoyan con una suscripción acá o en Patreon, comentando, compartiendo nuestro contenido y apoyándonos: Angelina, Oscar, Hortensia, Ananda, Luisete, Valentina, Salvador, José Germán, Michelle, Mónica, Pat y Vif, Maiah&Gabriel, Eduardo, Liz, Ariel, Juan Pablo, Micky, Sergio, Facu, Zacarias, Michael, Andi, Christian, Fede, Karina, Juan Carlo y Daniela.
Gracias por leer, por compartir y por ser parte de esto.
Gran post. Muy de acuerdo. Esto tiene muchas dimensiones. Como lo que apuntó Sandra Caula en un artículo reciente, a propósito del uso de IA en la literatura: hay cuentos y novelas que parecen escritas por un robot, por la mera desesperación de los autores de tener éxito así sea hipotecando toda voz individual en favor de una serie de fórmulas que se supone que indican calidad y garantizan lectoría.
Guillermo, hemos compartido en muchisimos posts/artículos sobre este tema y seguimos coincidiendo. El exceso de Skynet está distorsionando a muchos y las tres leyes de Asimov están mas vigentes que nunca, si es que de verdad queremos llevar a la humanidad a un mejor lugar.
Gracias por este enjuage de cerebro. Un abrazo