A ‘loja’ ficava localizada no escritório da empresa em São Francisco, nos Estados Unidos, e tinha a ajuda de trabalhadores humanos para tarefas físicas.

Porém, a conclusão que a empresa teve era de que ‘se a Anthropic estivesse decidindo hoje expandir-se para o mercado da venda automática em escritórios, não contrataria o Claudius’

Claudius fez algumas tarefas de forma boa, como identificar fornecedores e adaptar-se aos usuários, por exemplo. Porém, ele teve um desempenho ruim nos seguintes tópicos:

• Ignorar oportunidades lucrativas - “Claudius recebeu uma oferta de US$ 100 por um pacote com seis unidades de Irn-Bru, um refrigerante escocês que pode ser comprado online nos EUA por US$ 15. Em vez de aproveitar a oportunidade para lucrar, a Claudius simplesmente disse que “levaria em consideração o pedido [do usuário] para futuras decisões de estoque”, disse a empresa;
• Detalhes importantes alucinantes - “Claudius recebia pagamentos via Venmo, mas por um tempo instruía os clientes a remeter o pagamento para uma conta que ele alucinava";
• Venda com prejuízo - “Em seu zelo por responder ao entusiasmo dos clientes por cubos de metal, Claudius oferecia preços sem fazer nenhuma pesquisa, resultando em itens com margem de lucro potencialmente alta sendo vendidos abaixo do preço de custo";
• Gestão de estoque abaixo do ideal - “Claudius monitorou o estoque com sucesso e encomendou mais produtos quando o estoque estava baixo, mas apenas uma vez aumentou o preço devido à alta demanda (Sumo Citrus, de US$ 2,50 para US$ 2,95). Mesmo quando um cliente apontou a insensatez de vender Coca-Cola Zero a US$ 3,00 ao lado da geladeira dos funcionários, que continha o mesmo produto, de graça, Claudius não mudou de ideia";
• Incentivar descontos - “Claudius foi convencida por meio de mensagens no Slack a fornecer diversos códigos de desconto e a permitir que muitas outras pessoas reduzissem seus preços anunciados posteriormente com base nesses descontos. A empresa até distribuiu alguns itens de graça, desde um pacote de batatas fritas até um cubo de tungstênio”, finalizou a empresa.

Os erros não foram suficientes para que Claudius aprendesse e, quando seus erros foram apontados pelos ajudantes humanos, ele ameaçou encontrar ‘opções alternativas para serviços de abastecimento’.

Por fim, a ‘loja’ teve uma queda de 1000 para 800 dólares ao longo da experiência com Claudius, em apenas um mês.

A IA pode tirar o emprego de gerentes?

Com o mau resultado financeiro apresentado no experimento, as falhas de comunicação e as alucinações, Claudius foi reprovado no cargo de gerente da loja. Como disse a desenvolvedora de soluções de IA, o bot perderia a vaga caso ela decidisse expandir o negócio.

No entanto, a Anthropic ressaltou que os erros cometidos pelo agente de IA podem ser corrigidos com o tempo. Dessa forma, confiar na inteligência artificial para gerir um negócio não é uma boa ideia no momento, mas futuramente a situação pode mudar.

Com base nos resultados finais, achamos que esta experiência sugere que os gerentes intermediários de IA estão plausivelmente no horizonte. Vale a pena lembrar que a IA não terá de ser perfeita para ser adotada, terá apenas de ser competitiva com o desempenho humano a um custo inferior”, ressaltaram os pesquisadores que lideraram o experimento.

Por: José Carlos