A importância de um treino, seja para humanos, seja para IA generativa

Spread the love

São inegáveis os benefícios do treino para os seres humanos. Seja o treino intelectual, seja o treino físico, treinar é essencial para o ser humano. Só para o ser humano?

Não.

As inteligências artificiais generativas (IAG) estão se tornando parte integral de diversas rotinas empresariais e pessoais. Dados apontam um crescimento de 270% de projetos de IA nos últimos quatro anos[1]. No entanto, para que essas IAs forneçam respostas precisas e sem delírios, elas precisam de um treinamento rigoroso e uma base de conhecimento bem definida.

As IAs são treinadas com vastos volumes de dados, permitindo-lhes aprender padrões, linguagem e contextos diversos. A eficácia de uma IA generativa depende de um processo contínuo de testes e refinamentos, baseados em um playbook específico de implantação.

Ouso a dizer que esta é a parte mais difícil da jornada de adoção de IA nos processos. Não é à toa que estima-se que mais de 80% dos projetos fracassam[2].

Mas os benefícios são incríveis e por isso não podemos desanimar ou até mesmo desistir. Claro, é preciso mais cuidado e menos frenesi com relação a esta incrível ferramenta com um foco profundo nos testes.

Formas de testar e ensinar uma IA generativa

Playbook de treinamento específico: implementar um playbook detalhado que descreve os procedimentos de treinamento, incluindo a seleção de dados, as etapas de pré-processamento e as metodologias de treinamento. Esse playbook deve ser atualizado regularmente com as melhores práticas. Desafie seu playbook! Ele é mesmo completo? Ou existem lacunas que podem gerar delírios/invencionices?
Testes de consistência linguística: avaliar se a IA mantém um nível constante de coesão e coerência em suas respostas. Perguntas repetitivas com variações sutis são uma maneira eficaz de verificar essa consistência.
Verificação de fatos com ferramentas de IA: utilizar ferramentas de verificação de fatos, incluindo outras IAs, para testar a precisão das respostas. Isso ajuda a evitar a disseminação de informações incorretas e aumenta a confiabilidade das respostas geradas.
Feedback de usuários: coletar e analisar feedback de usuários reais pode fornecer insights valiosos sobre o desempenho da IA em contextos do mundo real. Este feedback deve ser incorporado no processo de refinamento contínuo.
Testes de cenários e contextos diversos: colocar a IA em diferentes cenários e contextos para garantir que ela pode lidar com uma ampla variedade de situações e fornecer respostas adequadas. Isso inclui simulações de conversa prolongada para avaliar a capacidade da IA de manter diálogos relevantes ao longo do tempo.

Exemplos de falhas devidas a testes inadequados

Em 2015, uma equipe do Google desenvolveu um sistema de IA projetado para detectar retinopatia diabética a partir de imagens da retina. O sistema teve um desempenho excepcionalmente bom nos dados de treinamento, mas sua precisão caiu significativamente quando testado em pacientes reais com a doença. Isto provavelmente se deveu ao fato de os dados de treinamento não conterem uma gama suficientemente diversificada de imagens da retina.

Como diria Waldir Pereira, jogo é jogo, treino é treino.

Os modelos de IA treinados em conjuntos de dados que não são representativos do mundo real podem tornar-se excessivamente ajustados. O modelo tem um bom desempenho nos dados de treinamento, mas não consegue generalizar para novas situações[3].

Exemplo no mundo jurídico

O “caso falso” de IA generativa mais conhecido é o caso Mata vs. Avianca, de 2023, nos EUA, no qual os advogados apresentaram um documento contendo extratos falsos e citações de casos a um tribunal de Nova York. O resumo foi pesquisado usando ChatGPT[4].

E se este caso fosse na sua empresa? Ou até mesmo em uma discussão com os advogados terceiros contratados?

Mensagem final

A integração de inteligência artificial generativa em rotinas diárias pode revolucionar a forma como trabalhamos e interagimos com a tecnologia. No entanto, é crucial lembrar que essa tecnologia não é algo plug and play. Ela exige um desenvolvimento meticuloso, testes rigorosos e melhorias contínuas.

Assim como não pegamos uma ferramenta complexa da gôndola do supermercado e esperamos que ela funcione perfeitamente sem configuração, a IA precisa de um cuidado especializado e de um playbook específico para atingir seu potencial máximo. Com uma abordagem estratégica e consciente, podemos desbloquear as possibilidades ilimitadas que a IA tem a oferecer, promovendo um futuro mais inteligente e eficiente.

Se ainda o leitor não está completamente convencido, trago o meu último e derradeiro exemplo. Este artigo foi escrito com o auxílio de uma IA generativa. Por mais de 10 vezes o modelo alucinou, trouxe fontes e menções que não existiam ou não eram claras. Por isso, o autor, ser humano, ainda é a peça central nesta nova simbiose entre homem e máquina.

Sem o devido treino e supervisão, estamos fadados a um modelo inverídico e cheio de defeitos.

[1] Neurons Lab. Managed Capacity Model. Disponível em: <https://neurons-lab.com/article/managed-capacity-model/#:~:text=Still%2C%20there%20is%20a%20lack,obscure%20R%26D%20project%20management%20processes>. Acesso em: 30 jun. 2024.

[2] HARVARD BUSINESS REVIEW. Keep Your AI Projects on Track. Disponível em: https://hbr.org/2023/11/keep-your-ai-projects-on-track. Acesso em: 30 jun. 2024.

[3] PICKL. 13 Biggest AI Failures: A Look at the Pitfalls of Artificial Intelligence. Disponível em: https://www.pickl.ai/blog/13-biggest-ai-failures-a-look-at-the-pitfalls-of-artificial-intelligence/. Acesso em: 30 jun. 2024.

[4] THE CONVERSATION. AI is creating fake legal cases and making its way into real courtrooms, with disastrous results. Disponível em: https://theconversation.com/ai-is-creating-fake-legal-cases-and-making-its-way-into-real-courtrooms-with-disastrous-results-225080. Acesso em: 30 jun. 2024.

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *