Los modelos de aprendizaje automático bien construidos pueden dar a una empresa una ventaja competitiva al ayudar a tomar decisiones más ágiles, pero los modelos de ML no deben dejarse solos. Las empresas que pueden tomar decisiones más rápido pueden capturar nuevas oportunidades más rápido y competir y quitar cuota a rivales más grandes. Si bien el ML puede ser muy valioso, también existen riesgos cuando los modelos no funcionan como se esperaba o perpetúan errores pasados.
Para funcionar, los modelos de ML necesitan ser entrenados y cómo los entrenemos dictará si los resultados son buenos o malos. Los modelos de aprendizaje automático son como niños, aprenden de lo que ven a su alrededor y no diferencian entre ejemplos buenos y malos. Los modelos que funcionan mal o toman decisiones que van en contra de la ética de la sociedad pueden causar graves daños a las marcas o crear problemas legales. Los algoritmos de ML necesitan reglas o barreras de protección para garantizar que no causen daños irreversibles. Con reglas definidas por humanos para monitorear los modelos de ML, podemos tener más confianza en que no tomarán decisiones inescrupulosas que puedan causar problemas.
¿Cómo puede el ML meterse en problemas?
Bueno, aprendiendo de nuestros malos hábitos o comportamientos pasados poco éticos. Los modelos se desarrollan utilizando datos históricos y si esos datos incluyen sesgos, estos prejuicios pueden incorporarse involuntariamente en el modelo. En muchos casos, los modelos de ML pueden incluso amplificar nuestras malas decisiones pasadas. Específicamente, el sesgo en torno al género y la raza puede llevar a los modelos de ML a tomar decisiones discriminatorias. Por ejemplo, un modelo utilizado para contratar desarrolladores de software puede detectar una tendencia en los datos que muestra que la mayoría de los desarrolladores de software son hombres y aprender a descalificar a los solicitantes que no son hombres. Usar esta variable para discriminar a las mujeres no solo es poco ético, sino que es ilegal.
Un científico de datos astuto debería ser capaz de detectar este error y excluir el sexo como factor en el modelo, pero hay variables secundarias y terciarias que pueden correlacionarse con el sexo y que pueden llevar a un modelo de ML a tomar una decisión sexista. El hecho de que un solicitante pueda ser miembro de una organización de mujeres puede llevar al rechazo. Si bien no descalifica específicamente a las mujeres, las mujeres tienen muchas más probabilidades de ser miembros de un grupo de mujeres o de asistir a una universidad femenina, lo que lleva a prácticas discriminatorias. Este no es un ejemplo hipotético, sino lo que le sucedió a un bot de contratación creado por Amazon.
Incluso cuando el científico de datos más diligente elimina los sesgos de los modelos, la deriva de los datos y los nuevos datos incorporados en el modelo pueden introducir nuevos sesgos. Esto requiere que alguien monitoree los modelos en producción para asegurarse de que estén operando correctamente. Desafortunadamente, en algunos casos, los modelos pueden quedar huérfanos sin un propietario que los supervise. Los algoritmos pueden operar durante un período de tiempo prolongado antes de que alguien note que están discriminando.
