Vivimos en la edad del algoritmo. Las decisiones que afectan a nuestras vidas no
están hechas por humanos, sino por modelos matemáticos. En teoría, esto debería
conducir a una mayor equidad: todos son juzgados de acuerdo con las mismas reglas,
sin sesgo. En realidad ocurre exactamente lo contrario. Los modelos que se
utilizan son opacos, no regulados e incontestables, incluso cuando
están equivocados. Esto deriva en un refuerzo de la discriminación: si un estudiante
pobre no puede obtener un préstamo porque en virtud de su código postal un modelo
de préstamo lo considera demasiado arriesgado, quedará excluido del tipo de
educación que podría sacarlo de la pobreza, produciéndose una espiral viciosa. Los
modelos apuntalan a los afortunados y castigan a los oprimidos: bienvenido al lado
oscuro del big data.
ONeil expone los modelos que dan forma a nuestro futuro, como individuos y como
sociedad. Estas «armas de destrucción matemática» califican a maestros y
estudiantes, ordenan currículas, conceden (o niegan) préstamos, evalúan a los
trabajadores, se dirigen a los votantes, fijan la libertad condicional y monitorean
nuestra salud.
