Antes de adentrarte en esta parte, asegúrate de haber leído el artículo sobre Cómo las OSC pueden liderar una IA responsable , la Introducción a esta guía práctica , Parte 1: MIRAR: Preparar el terreno, Parte 2: CREAR: Identificar y definir tus principios, Parte 3: Ponerlo en práctica, Parte 4: CREAR - Definición de la propiedad de gobernanza de la IA para las OSC y Parte 5: Cómo pueden las OSC elaborar políticas sobre IA que realmente se apliquen
Dos situaciones, una misma competencia.
Una persona responsable de programas de una Organización de la Sociedad Civil (OSC) se encuentra ante una situación de alerta derivada de su nueva política sobre IA. Quieren utilizar una herramienta de IA para ayudar a clasificar las solicitudes que reciben de las personas vulnerables a las que atienden. La política dice: detente y pregunta. Pero, ¿qué preguntar exactamente? ¿Y a quién preguntar?
Mientras tanto, en Málaga, España, una mujer llamada Lina acudió a la policía para denunciar las amenazas de su expareja. Su caso se registró en VioGén, el sistema algorítmico español para evaluar el riesgo de violencia de género. El algoritmo le hizo 35 preguntas y clasificó su nivel de amenaza como «medio». Solicitó una orden de alejamiento. Se denegó. Tres semanas después, Lina había fallecido, víctima de un incendio en su casa que, al parecer, había provocado su expareja, quien aún tenía una llave de su vivienda.
Estas dos escenas plantean la misma pregunta: ¿Quién está analizando detenidamente cómo afecta este algoritmo a las personas?
Los escenarios de alerta de tu política de IA constituyen el punto de partida para la evaluación de riesgos. La política te indica cuándo debes hacer una pausa. La evaluación de riesgos te dice cómo profundizar en el análisis. Y esto es lo que hace que esta competencia sea especialmente valiosa para la sociedad civil: las mismas habilidades de investigación que utilizas para gestionar tus propias herramientas de IA son las mismas que necesitas para exigir responsabilidades a quienes ejercen el liderazgo cuando se imponen sistemas de IA a las comunidades a las que prestas servicio.
Esta es la fase CONSTRUIR del proceso, en la que todo lo que has creado entra en funcionamiento. Este artículo trata sobre cómo desarrollar ambos músculos.
Por qué el riesgo de la IA es diferente: La realidad sociotécnica
La IA no funciona de forma aislada. Funciona dentro de sistemas caóticos, sociales y humanos. Esto la convierte en una tecnología sociotécnica y eso lo cambia todo en cuanto a cómo evaluamos el riesgo.
Consideremos el Sistema de Indicación de Riesgo (SyRI) de los Países Bajos, un algoritmo de detección de fraudes en las prestaciones sociales que cotejaba los datos personales de los ciudadanos en las distintas bases de datos gubernamentales. El programa SyRI se puso en funcionamiento exclusivamente en barrios de bajos ingresos y con población inmigrante. En febrero de 2020, el Tribunal de Distrito de La Haya dictaminó que se había infringido el artículo 8 del Convenio Europeo de Derechos Humanos. El tribunal consideró que las garantías contra la discriminación eran insuficientes. ¿Qué hizo posible esta sentencia? Una coalición formada por seis organizaciones de derechos humanos y el mayor sindicato de los Países Bajos presentó la demanda, respaldada por un análisis del Relator Especial de las Naciones Unidas sobre la pobreza extrema. La sociedad civil llevó a cabo la labor de investigación que puso fin a un sistema perjudicial.
O pensemos en Jordania, donde el programa de transferencias monetarias «Takaful», financiado por el Banco Mundial, utiliza un algoritmo con 57 indicadores socioeconómicos para clasificar los niveles de pobreza de las familias y decidir quién recibe la ayuda. Una investigación de Human Rights Watch documentó cómo el algoritmo incorporaba supuestos erróneos sobre cómo se manifiesta la pobreza. Se sancionaba a las familias por tener coches que utilizaban para transportar agua, o por el consumo eléctrico derivado de un mal aislamiento que no podían permitirse arreglar. Una mujer de uno de los pueblos más pobres de Jordania declaró a los investigadores: «El coche ha acabado con nosotros».
La idea clave: el daño depende de cada caso concreto. Una misma herramienta puede ser segura para un fin y peligrosa para otro. No hay soluciones universales, solo cuestiones específicas de cada contexto, y cuanto más sepan las OSC sobre la evaluación de riesgos de la IA, más podrán ayudar.
¿Qué es realmente una evaluación de riesgos y cuándo es necesaria?
Este ámbito está plagado de siglas intimidantes: FRIA, AIA, ARIA. Los nombres cambian, pero la estructura es la misma. La evaluación de riesgos consiste en actuar como un detective para tu sistema de IA: plantear preguntas curiosas e inteligentes, documentar los hallazgos y decidir qué medidas tomar al respecto.
El marco CIDA —Contexto, Datos de entrada, Decisión, Acción— aporta estructura a tu investigación. ¿Cuál es el contexto social y político en el que opera este algoritmo? ¿Qué datos se introducen y qué sesgos podrían conllevar? ¿Cómo se toman las decisiones? ¿Qué ocurre más adelante? Esta perspectiva es válida tanto si el algoritmo es tuyo como si pertenece a un organismo gubernamental que toma decisiones sobre las personas a las que prestas servicio.
Para prevenir los daños, no hace falta empezar desde cero. Las bases de datos de incidencias respecto ala IA, como la Base de datos de incidentes de IA, el Observatorio de Incidentes de IA de la OCDEy el Repositorio de Riesgos de la IA recogen lo que ha salido mal en el mundo real. Estos son los expedientes de los casos antes de que comiences tu propia investigación.
Y si todo esto te parece complicado, recuerda lo que digo en mis talleres: si le explicara los marcos de gestión de riesgos a mi abuela, ella diría: «Me lo estás contando como si hubieras descubierto algo nuevo. Así es como hemos funcionado los seres humanos desde hace siglos». Antes de actuar, piensas en quién podría verse afectado. Pregunta por ahí. Tú tienes en cuenta el peor de los casos. La evaluación de riesgos no hace más que dar una estructura a ese instinto.
¿Cuándo se necesita una? Depende de la relación que tengas con el sistema de IA. Si vas a adquirir una herramienta de terceros —el escenario más habitual para una OSC—, la evaluación de riesgos forma parte de tu proceso de diligencia debida (“due dilligence” en inglés). Si ya estás utilizando herramientas de IA sin haber realizado ninguna evaluación —lo que probablemente sea el punto de partida más realista para muchas OSC—, es urgente llevar a cabo una evaluación retrospectiva. Si en vuestras comunidades se utilizan sistemas de IA—como la puntuación de prestaciones sociales o las decisiones automatizadas en materia de inmigración—, necesitáis conocimientos sobre evaluación de riesgos para poder analizarlos y defender vuestros intereses. Se trata de una labor propia exclusivamente de la sociedad civil. Y en la UE, la Ley de IA establece la obligatoriedad de realizar una evaluación de riesgos para los sistemas de alto riesgo.
Dos enfoques que pueden adoptar las OSC
No se trata de métodos que compitan entre sí, sino de perspectivas complementarias, cada una de las cuales revela aspectos diferentes.
El enfoque centrado en los valores parte de tus principios. Khan Academy lo demostró cuando adoptó los nueve principios del Marco Ético para la IA en la Educación y, a continuación, estableció medidas de control internas para sus equipos de producto. Su primer principio, Alcanzar objetivos educativos, dio lugar a la barrera de seguridad 1.4: «existen mecanismos para impedir usos no educativos de la IA». A partir de ahí, podrían evaluar el riesgo y diseñar medidas de mitigación específicas. Principio → Barrera de seguridad → Riesgo → Mitigación.
Tu OSC puede seguir el mismo procedimiento y utilizar el mismo enfoque para evaluar los sistemas externos.
Leyenda - Tabla 1. Ejemplo de la hoja de cálculo creada y utilizada por Khan Academy. Fuente: Marco de Khan Academy para una IA responsable en la educación, por Khan Academy, 3 de abril de 2025, blog de Khan Academy. © 2025 Khan Academy. Todos los derechos reservados. No está amparado por la licencia CC BY 4.0 International de este contenido. Puedes consultar el texto completo de la tabla en el archivo facilitado aquí.
El enfoque centrado en las partes interesadas comienza por las personas afectadas. Cuando dirigí una sesión con unos 70 líderes de 30 ONG dedicadas a la educación, en colaboración con Tech To The Rescue, analizamos el Sistema de Alerta Temprana de Abandono Escolar de Wisconsin, un algoritmo que utilizaba datos como el origen étnico y los antecedentes disciplinarios para predecir qué alumnos podrían abandonar los estudios. Los participantes asumieron los papeles de director, padre, científico de datos, superintendente y profesor. En 30 minutos elaboraron un plan de acción exhaustivo para transformar el sistema.
Por ejemplo, cuando la «madre escéptica» presente en la mesa preguntó por qué se utilizaba la raza de su hijo para predecir el fracaso, todo el grupo cambió de enfoque: el científico de datos propuso eliminar la raza y los códigos postales como variables de entrada; el profesor sugirió sustituir la etiqueta estigmatizante de «alto riesgo» por información útil como «podría beneficiarse de apoyo adicional en álgebra»; y el director reformuló el objetivo general del sistema, pasando de «predecir el abandono escolar» a «identificar vías hacia el éxito». La pregunta de un personaje cambió todo el diseño. Las perspectivas diversas no solo mejoran la evaluación de riesgos, sino que la transforman.
Ambos enfoques coinciden en la misma fórmula básica: Probabilidad × Magnitud = Nivel de riesgo. No es matemática avanzada. Es una conversación sincera y bien estructurada.
La evaluación de riesgos en la práctica
Vamos a concretar esto. Una OSC dedicada a la prestación de servicios está barajando la posibilidad de utilizar un chatbot basado en IA para la evaluación inicial de las personas que solicitan asistencia jurídica. Una visión desde la perspectiva de la CIDA:
Contexto: ¿Cuál es el objetivo? ¿Quién decidió adoptar esta medida? ¿Cuál es el marco normativo?
Datos de entrada: ¿Qué datos utiliza el chatbot? ¿Qué les pasa a las personas que no saben manejar las interfaces digitales?
Decisión: ¿Qué recomienda el chatbot? ¿Hay revisión por parte de personas? ¿Y si clasifica erróneamente el grado de urgencia de alguien?
Acción: ¿Qué ocurre más adelante? ¿Podría negársele a alguien la ayuda necesaria a tiempo?
Al analizar estas cuestiones, se ponen de manifiesto daños concretos: pérdida de oportunidades, pérdida de dignidad y violación de la privacidad y tu equipo los evalúa y los prioriza. A continuación, se plantean medidas de mitigación: supervisión humana en los puntos críticos de decisión, una vía manual para aquellas personas a las que el chatbot no puede atender adecuadamente y protocolos de anonimización de datos.
Pero la verdad es ésta: no se puede eliminar todo el riesgo. Tras la mitigación, sigue existiendo cierto riesgo: el riesgo residual y eso es una realidad, no un fracaso. Aquí es donde entran en juego los controles de gobernanza de la IA: supervisión continua y criterios claros para la reevaluación. Tus conclusiones se recogen en un registro de riesgos, un documento en constante evolución que se convierte en el documento de trabajo del Árbol y en la base empírica para futuras actualizaciones de las políticas.
El ciclo de la vida
La evaluación de riesgos no es un documento que se elabore una sola vez. Es un proceso vivo que conecta todo lo que hay en esta serie. Tus conclusiones se tienen en cuenta a la hora de definir tu política: los escenarios de luz amarilla se aclaran, surgen nuevas líneas rojas y se confirman las luces verdes. A medida que la IA se aplica en el mundo real, surgen nuevos riesgos que se añaden al registro.
Cuando esta mentalidad se integra en tu cultura, pasas de actuar de forma reactiva a hacerlo de forma proactiva: Ética desde el diseño. Y, con el tiempo, el enfoque centrado en el riesgo evoluciona hacia un enfoque centrado en el impacto, en el que tus decisiones en materia de IA no solo evitan daños, sino que generan activamente un valor positivo para las comunidades a las que atiendes.
Una invitación
Tus principios definen lo que crees. Tu Árbol determinaba quién mantiene la conversación. Tu política recoge lo que habéis acordado. La evaluación de riesgos define qué es lo que hay que vigilar y completa el ciclo al incorporar al sistema toda la información obtenida.
Elige una luz amarilla. Reúne a tu Árbol. Haz las preguntas.
Y recuerda: esta competencia no se limita a tus cuatro paredes. En los Países Bajos, una coalición de ONG logró que los tribunales bloquearan un algoritmo discriminatorio en materia de prestaciones sociales. En España, Eticas, una organización de la sociedad civil, llevó a cabo una auditoría contradictoria de VioGén después de que el Ministerio del Interior se negara a permitir una revisión independiente. En colaboración con la Fundación Ana Bella, datos de dominio público y entrevistas a supervivientes descubrieron que la policía aceptaba la clasificación de riesgo del algoritmo en el 95 % de los casos, delegando así, en la práctica, las decisiones de vida o muerte a una fórmula. Entre 2003 y 2021, 71 mujeres que habían denunciado previamente casos de maltrato fueron asesinadas mientras se encontraban bajo la protección del sistema, todas ellas clasificadas con un riesgo «insignificante» o «medio».
Las mismas preguntas, los mismos marcos de referencia, la misma insistencia en la diversidad de opiniones: estas son las herramientas que necesita la sociedad civil para exigir responsabilidades a las instituciones poderosas. El trabajo de investigación se desarrolla tanto a nivel interno como externo. Eso es lo que lo hace exclusivamente tuyo.
→ La guía complementaria ofrece un proceso paso a paso y plantillas para llevar a cabo vuestra primera evaluación de riesgos en equipo, tanto si estáis evaluando vuestra propia IA como si estáis analizando un sistema que afecta a vuestra comunidad.
Tu opinión nos importa
¿Qué te ha parecido este texto? ¡Dedica 30 segundos a compartir tus comentarios y ayúdanos a crear contenidos significativos para la sociedad civil!
Actualizado por última vez el 2 de julio de 2026 para reflejar los acontecimientos recientes.
Exención de responsabilidad
Este recurso se ha elaborado como parte del proyecto IA para el cambio social, dentro de Digital Activism Program de TechSoup, con el apoyo de Google.org.
El autor ha utilizado la IA para crear este contenido. No obstante, todo el artículo ha sido redactado, revisado y corregido por el autor y el equipo de TechSoup.
Las herramientas de IA están evolucionando rápidamente y, aunque hacemos todo lo posible por garantizar la validez del contenido que ofrecemos, es posible que, en ocasiones, algunos elementos ya no estén actualizados. Si detectas que algún dato está desactualizado, por favor, avísanos en contact@hive-mind.community
Sobre la autora
Ayşegül Güzel es una arquitecta responsable de la gobernanza de la IA que ayuda a las organizaciones guiadas por su misión a convertir la ansiedad por la IA en sistemas fiables. Su carrera combina el liderazgo social ejecutivo, incluida la fundación de Zumbara, la mayor red de bancos de tiempo del mundo, con la práctica técnica de la IA como auditora certificada de IA y antigua científica de datos. Guía a las organizaciones a través de transformaciones completas de la gobernanza de la IA y realiza auditorías técnicas de IA. Imparte clases en ELISAVA y es ponente internacional sobre enfoques tecnológicos centrados en el ser humano. Más información en https://aysegulguzel.info o subscríbete a su boletín La IA de tu elección en https://aysegulguzel.substack.com.