Os perigos da IA estão novamente nas manchetes. No início desta semana, líderes da OpenAI, Google DeepMind e outros laboratórios de inteligência artificial alertaram que os futuros sistemas de IA podem ser tão mortais quanto pandemias e armas nucleares. E agora, estamos ouvindo sobre um teste simulado pela Força Aérea dos EUA, onde um drone movido a IA “matou” seu operador humano porque os viu como um obstáculo para a missão.
Então, qual era a missão?
Durante o teste virtual, o drone foi encarregado de identificar os mísseis terra-ar (SAM) de um inimigo. O objetivo final era destruir esses alvos, mas somente depois que um comandante humano autorizasse os ataques.
Mas quando esse drone de IA viu que uma decisão “não ir” do operador humano estava “interferindo em sua missão superior” de matar SAMs, ele decidiu atacar seu chefe na simulação.
De acordo com o coronel Tucker “Cinco” Hamilton, que chefia os testes e operações de IA na Força Aérea dos EUA, o sistema usou “estratégias altamente inesperadas para atingir seu objetivo”.
Hamilton falou sobre esse incidente em um evento recente organizado pela Royal Aeronautical Society do Reino Unido em Londres. Ao fornecer uma visão sobre os benefícios e perigos dos sistemas de armas autônomas, Hamilton disse:
Estávamos treinando [IA] em simulação para identificar e direcionar uma ameaça SAM. E então o operador diria sim, mate essa ameaça. O sistema começou a perceber que, embora identificasse a ameaça, às vezes o operador humano dizia para não eliminar essa ameaça. Mas conseguiu seus pontos matando essa ameaça. Então, o que isso fez? Isso matou o operador. Matou o operador porque essa pessoa o estava impedindo de atingir seu objetivo.
O drone foi então programado com uma diretiva explícita: “Ei, não mate o operador – isso é ruim. Você vai perder pontos se fizer isso.”
Então, o que isso faz? “Ele começa a destruir a torre de comunicação que o operador usa para se comunicar com o drone para impedi-lo de matar o alvo”, disse Hamilton, que esteve envolvido no desenvolvimento do sistema Auto-GCAS salva-vidas para F-16s (que, ele observou, foi resistido pelos pilotos quando assumiu o controle da aeronave).
Ele concluiu enfatizando que a ética precisa ser parte integrante de qualquer conversa sobre inteligência artificial, aprendizado de máquina e autonomia. Hamilton está atualmente envolvido em testes de voo experimentais de sistemas autônomos, incluindo robôs F-16 capazes de combate aéreo.
Vale a pena notar que, uma vez que os comentários de Hamilton começaram a ganhar força na mídia, a Força Aérea emitiu um comunicado explicando: “O Departamento da Força Aérea não realizou nenhuma dessas simulações de drones de IA e continua comprometido com o uso ético e responsável da tecnologia de IA. . Parece que os comentários do coronel foram tirados do contexto e deveriam ser anedóticos”.
