Algoritmos podem mentir e enganar, mas podem ser interrompidos?

Os algoritmos podem determinar se você recebe uma hipoteca ou quanto paga pelo seguro. Mas às vezes eles estão errados - e às vezes são projetados para enganar.

Muitos algoritmos vão mal sem querer. Alguns deles, no entanto, são feitos para serem criminosos. Algoritmos são regras formais, geralmente escritas em código de computador, que fazem previsões sobre eventos futuros com base em padrões históricos. Para treinar um algoritmo, você precisa fornecer dados históricos, bem como uma definição de sucesso.

Vimos as finanças serem dominadas por algoritmos nas últimas décadas. Os algoritmos de negociação usam dados históricos para prever movimentos no mercado. O sucesso desse algoritmo é uma mudança previsível no mercado, e o algoritmo está atento a padrões que historicamente aconteceram pouco antes dessa mudança. Os modelos de risco financeiro também usam mudanças históricas do mercado para prever eventos cataclísmicos em um sentido mais global, não para ações individuais, mas para todo o mercado. O modelo de risco para títulos lastreados em hipotecas era famoso por ser ruim - intencionalmente - e a confiança nesses modelos pode ser responsabilizada por grande parte da escala e danos subsequentes causados ​​pela crise financeira da 2008.

Desde 2008, ouvimos menos sobre algoritmos em finanças e muito mais sobre algoritmos de big data. O alvo desta nova geração de algoritmos mudou de mercados abstratos para indivíduos. Mas a funcionalidade subjacente é a mesma: coletar dados históricos sobre pessoas, traçando seu comportamento online, localização ou respostas a questionários e usar esse enorme conjunto de dados para prever suas compras futuras, comportamento de voto ou ética de trabalho.

A recente proliferação de modelos de big data passou despercebida pela maioria das pessoas, mas é seguro dizer que os momentos mais importantes em que as pessoas interagem com grandes sistemas burocráticos agora envolvem um algoritmo na forma de um sistema de pontuação. Entrar na faculdade, conseguir um emprego, ser avaliado como trabalhador, obter cartão de crédito ou seguro, votar e mesmo policiando em muitos casos, são feitos algoritmicamente. Além disso, a tecnologia introduzida nessas decisões sistemáticas é amplamente opaca, mesmo para seus criadores, e até agora escapou de uma regulamentação significativa, mesmo quando falha. Isso torna a questão de qual desses algoritmos está funcionando em nosso nome ainda mais importante e urgente.

Eu tenho uma hierarquia de quatro camadas quando se trata de algoritmos ruins. No topo, existem problemas não intencionais que refletem preconceitos culturais. Por exemplo, quando a professora de Harvard, Latanya Sweeney, descobriu que o Google procura por nomes considerados pretos anúncios gerados associados a atividades criminosas, podemos assumir que não havia engenheiro do Google escrevendo código racista. De fato, os anúncios foram treinados para serem ruins por usuários anteriores da pesquisa no Google, que eram mais propensos a clicar em um anúncio de antecedentes criminais quando procuravam por um nome que soasse preto. Outro exemplo: o Resultado de pesquisa de imagens do Google para "cabelo não profissional", que retornou quase exclusivamente mulheres negras, é treinada da mesma forma pelas pessoas que postam ou clicam nos resultados da pesquisa ao longo do tempo.

Leia a história completa aqui…