Cuando un algoritmo puede dejar a una persona sin trabajo, la cuestión ya no es solamente tecnológica

La sanción neerlandesa de unos 825 millones de euros a Uber sitúa en primer plano un conflicto que desborda a una sola empresa: cuánto poder puede delegarse en sistemas automatizados y qué garantías debe conservar quien soporta sus decisiones.

---

Un algoritmo puede ordenar una lista, calcular una ruta, recomendar un contenido o identificar una operación que considera anómala. En todos esos casos realiza una función instrumental. La cuestión cambia de naturaleza cuando de su resultado depende que una persona pueda continuar obteniendo ingresos.

La Autoridad Neerlandesa de Protección de Datos anunció el 21 de agosto una sanción de aproximadamente 825 millones de euros a Uber por un procedimiento relacionado con la desactivación automatizada de cuentas de conductores. Según el regulador, determinadas decisiones con efectos significativos fueron adoptadas de manera automatizada sin las salvaguardias que exige la normativa europea.

La compañía rechaza esa valoración y ha anunciado su oposición a la decisión. Sostiene, además, que actualmente dispone de intervención humana y mecanismos de recurso. La resolución, por tanto, es recurrible y no debe tratarse como jurídicamente firme.

Sería fácil convertir el episodio en una narración convencional: Europa contra una gran empresa tecnológica, regulación contra innovación, personas contra máquinas. Ninguna de esas simplificaciones permite comprender el verdadero problema.

Lo relevante es averiguar qué ocurre cuando la eficiencia que hace posible una plataforma de enorme escala concede a un procedimiento automático un poder material sobre la vida económica de una persona.

La automatización existe porque la escala importa

Las plataformas digitales no automatizan sus procesos por capricho. Su propio modelo operativo exige gestionar volúmenes de información, transacciones y usuarios que harían extremadamente costoso someter cada incidencia a una revisión humana completa desde el primer momento.

La automatización reduce costes de supervisión, acelera decisiones y permite mantener un servicio funcionando a una escala difícilmente concebible mediante procedimientos exclusivamente manuales. Esa eficiencia beneficia a la empresa, pero también puede beneficiar a consumidores y trabajadores cuando reduce fricciones, tiempos de espera y costes de intermediación.

El conflicto no aparece, por tanto, porque una máquina participe en una decisión. Aparece cuando la decisión adquiere una importancia tal que la eficiencia del procedimiento empieza a competir con las garantías de la persona afectada.

Una recomendación automática que ordena restaurantes no posee el mismo significado que una desactivación que impide a un conductor continuar utilizando una plataforma de la que obtiene ingresos. La tecnología subyacente puede compartir rasgos; las consecuencias humanas son completamente distintas.

Por eso la discusión jurídica no puede separarse de una discusión sobre poder.

Automatizar una decisión no elimina a quien responde por ella

Uno de los riesgos del lenguaje tecnológico consiste en atribuir voluntad a las herramientas. Decimos que «el algoritmo ha decidido» como si el sistema fuera un sujeto autónomo al que pudiera trasladarse la responsabilidad.

Pero un procedimiento automatizado no aparece espontáneamente. Alguien determina qué datos utiliza, qué comportamiento pretende identificar, qué umbrales resultan relevantes, qué consecuencias produce cada resultado y qué mecanismos existen cuando el sistema se equivoca.

El algoritmo ejecuta una arquitectura de decisión. No absorbe la responsabilidad de quienes la diseñan, implementan o utilizan.

El caso de Uber resulta especialmente significativo porque el desacuerdo no versa únicamente sobre la existencia de automatización, sino sobre las salvaguardias que deben acompañarla cuando afecta de manera significativa a una persona. El regulador neerlandés considera insuficiente el procedimiento aplicado en el periodo investigado; Uber sostiene una posición distinta y la controversia continuará en sede de recurso.

Esa disputa jurídica no debe anticiparse. Pero sí permite formular una pregunta política más amplia: si una organización puede adoptar millones de decisiones gracias a sistemas automáticos, ¿debe crecer también, en proporción al poder que esos sistemas ejercen, su capacidad para explicar, revisar y corregir sus resultados?

Dos libertades que conviene no enfrentar artificialmente

La discusión sobre automatización suele formularse como un combate entre libertad empresarial y protección individual. Es una mala manera de empezar.

Una empresa tiene un interés legítimo en organizar sus procedimientos de la forma más eficiente posible. Obligar a que toda decisión, por insignificante que sea, pase desde el principio por un procedimiento humano costoso podría reducir las ventajas que precisamente hacen posible la escala de muchas plataformas.

Pero la persona afectada tiene también un interés legítimo en no quedar sometida a un poder económico opaco e inapelable.

Ambas libertades pueden entrar en tensión, pero ninguna desaparece por la existencia de la otra.

La cuestión razonable no consiste en decidir si deben prohibirse las decisiones automatizadas. Consiste en determinar qué clase de decisiones pueden automatizarse completamente, cuáles necesitan salvaguardias adicionales y en qué momento debe existir una posibilidad efectiva de revisión humana.

Un sistema libre necesita empresas capaces de innovar y organizarse. Necesita también personas capaces de impugnar decisiones que afectan gravemente a sus intereses.

La dificultad intelectual reside precisamente en construir instituciones que protejan ambas cosas sin convertir la garantía en parálisis ni la eficiencia en indefensión.

El derecho de apelación como límite al poder

Existe un principio anterior a la inteligencia artificial que ayuda a entender el problema: quien ejerce poder sobre otro debe poder responder de su ejercicio.

Durante siglos, buena parte del desarrollo jurídico e institucional ha consistido en establecer procedimientos que impidan que una decisión relevante sea completamente arbitraria. Motivación, revisión, contradicción y recurso son distintas expresiones de una misma intuición: cuanto mayor es la capacidad de una decisión para modificar la vida de una persona, más importante resulta que exista alguna vía para cuestionarla.

La automatización no elimina esa necesidad. Puede hacerla más urgente.

Cuando un proceso humano adopta una decisión errónea, al menos existe intuitivamente un decisor identificable. En un sistema algorítmico, la cadena puede ser más difusa: datos, reglas, modelos, equipos técnicos, responsables de negocio y procesos automáticos pueden intervenir sucesivamente hasta producir un resultado que nadie parece haber «decidido» en sentido cotidiano.

Ahí aparece una tentación peligrosa: confundir la dispersión del proceso con la desaparición de la responsabilidad.

El problema político de los algoritmos no es que sean máquinas. Es que permiten ejercer poder a una escala extraordinaria y, si el procedimiento no está bien diseñado, pueden hacer más difícil saber quién debe responder cuando ese poder produce un daño.

La sociedad automatizada necesitará mejores procedimientos, no menos tecnología

La sanción neerlandesa a Uber todavía deberá recorrer el camino jurídico que corresponda. Su importe —alrededor de 825 millones de euros— explica la atención pública, pero no constituye el aspecto intelectualmente más importante del caso.

La cuestión decisiva seguirá presente aunque la cuantía cambie, aunque la resolución sea modificada o aunque otras plataformas desarrollen sistemas diferentes.

Las sociedades modernas van a automatizar una cantidad creciente de decisiones porque los beneficios económicos de hacerlo son considerables. Pretender detener ese proceso equivaldría a ignorar una de las grandes transformaciones de nuestra época. Pero aceptar la automatización no obliga a aceptar la irresponsabilidad.

Cuanto mayor sea el poder delegado en un sistema automático para determinar quién puede trabajar, contratar, acceder a un servicio o permanecer en una plataforma, más necesario será saber qué criterios gobiernan la decisión, quién asume su responsabilidad y cómo puede corregirse un error.

La pregunta no es si debemos confiar en los algoritmos.

La pregunta es si construiremos instituciones suficientemente claras para que nunca tengamos que confiar ciegamente en ellos.

---

Bibliografía

• Autoriteit Persoonsgegevens, resolución y comunicación sobre la sanción a Uber por decisiones automatizadas sobre conductores.

• Reuters, cobertura de la decisión del regulador neerlandés y posición de Uber.

• AP/ABC, información complementaria recogida sobre el expediente.

Lecturas recomendadas

• Documentación pública de la Autoridad Neerlandesa de Protección de Datos sobre el caso.

• Cobertura de Reuters para contrastar la interpretación del regulador con la posición empresarial y el carácter recurrible del procedimiento.