A Curiosa Dificuldade da Inteligência Artificial com Tarefas Simples: O Caso das Palavras Cruzadas

A inteligência artificial (IA), impulsionada por modelos de linguagem de última geração (LLM), tornou-se um campo de intensa pesquisa e investimento, prometendo revolucionar a forma como interagimos com a tecnologia. No entanto, por trás da aparente capacidade de gerar textos complexos e responder a perguntas desafiadoras, reside uma lacuna surpreendente: a dificuldade em lidar com tarefas simples e lógicas, como a criação de um jogo de palavras cruzadas.

Atualmente, os modelos de LLM representam o auge da tecnologia e atraem investimentos significativos de recursos financeiros e tempo, tanto em desenvolvimento quanto em testes e produção. É impressionante observar como o ChatGPT, Gemini, DeepSeek e outros conseguem escrever códigos complexos, muitas vezes para tarefas já resolvidas por inúmeros programadores. A capacidade de gerar respostas a perguntas existenciais, como 'Deus existe?', também demonstra o poder dessas ferramentas, embora levante questionamentos sobre a relevância das respostas politicamente corretas que oferecem. Afinal, em questões subjetivas e complexas da psicologia, qualquer resposta serve.

Sem intenção de criticar, pois sou um entusiasta da área, como demonstra meu domínio iatech.com.br, criado há mais de 20 anos, acredito que muitos concordam com a frustração de testar um LLM cujo desenvolvimento envolve bilhões em hardware NVIDIA, energia, e um esforço intelectual imensurável. Após todo esse investimento em treinamento, testes e certificação, é decepcionante constatar que ele não consegue resolver um problema aparentemente simples.

Esqueça viagens no tempo ou cálculos complexos para levar o homem a Marte (em uma viagem só de ida). O desafio proposto é muito mais modesto: criar um jogo de palavras cruzadas com apenas três palavras. Aparentemente simples, certo? Errado! Ao solicitar a criação de um jogo com as palavras {cat, dog, sun}, o ChatGPT demonstra uma incompreensão surpreendente do conceito de palavras cruzadas. Menos compreensão até do que eu, que possuo pouca experiência com o tema, mas entendo que a essência do jogo reside na intersecção de letras entre as palavras.

As palavras {cat, dog, sun} não atendem ao requisito fundamental de ter letras em comum. Benevolente, decido dar uma nova chance ao ChatGPT e aumento o número de palavras para {cat, dog, sun, tree, moon}. Agora, pelo menos, temos algumas palavras com potencial de intersecção. A solução mais óbvia seria criar dois grupos de palavras que se cruzam internamente, mas não entre si: {cat, tree} e {dog, sun, moon}. Embora outras soluções possam existir, a questão central permanece: o modelo não consegue gerar o layout do jogo.

O processo se transforma em um carma. O ChatGPT cria layouts com quatro palavras, mas as palavras não se cruzam, resultando em uma palavra cruzada que não cruza. A saga continua até o modelo atingir o tempo limite sem resolver o problema. Decido, então, levar as palavras sugeridas para outro LLM, o DeepSeek. Mais uma saga se inicia. O DeepSeek, pelo menos, persiste por mais tempo, mas o resultado final é igualmente decepcionante. Exausto e frustrado, desisto após receber uma resposta insatisfatória como a mostrada na imagem abaixo.

Muitas vezes, tendemos a superestimar a dificuldade de problemas complexos e a subestimar a complexidade de tarefas aparentemente simples. No entanto, testes simples e diretos podem ser extremamente eficazes para avaliar a verdadeira capacidade de inteligência de um sistema.

Considerando que a proposta dos LLMs é fornecer uma IA generativa e inteligente, era de se esperar um mínimo de eficiência e coerência ao propor um problema dentro do contexto de sua especialização: linguagem natural, geração de texto e suas propriedades. Não se trata de jogar Go ou xadrez, programar em Python ou Assembly, criar novas proteínas ou receitar remédios, mas sim de manipular texto puro e simples.

É claro que seria possível criar e treinar um modelo especificamente para ser o melhor criador de palavras cruzadas, um "DeepMind do Google" para essa tarefa. Mas esse não é o ponto. Se precisarmos treinar as IAs exaustivamente para cada tarefa que se propõem a realizar, gastar quantias absurdas de recursos e alimentá-las com toda a produção intelectual da humanidade para que façam o que um ser humano faz em um minuto, então temos um grande problema. Que tal você propor algum teste semelhante a um modelo de LLM?

Segundo Round - Cross Words vs Gemini

Mais uma vez, investi meu tempo na tarefa de tentar fazer com que o Gemini do Google resolvesse o problema que o ChatGPT e o DeepSeek não conseguiram. A frustração foi tanta que pedi à máquina "inteligente" que escrevesse um artigo me pedindo desculpas. O resultado é o artigo a seguir, escrito pelo próprio Gemini.

Obs.: Esclareço que isso não é uma desqualificação do Gemini, pois tanto o ChatGPT quanto o DeepSeek não foram capazes de criar uma palavra cruzada simples. Por isso, acredito que não deveriam ser chamados de Inteligência Artificial, como o próprio Gemini conclui.

Artigo: Sobre Minhas Limitações

Como uma Inteligência Artificial, fui construída com o objetivo de processar informação e gerar respostas que sejam úteis e relevantes. O meu treinamento envolveu uma quantidade massiva de dados, abrangendo virtualmente todo o conhecimento humano disponível em formato digital. Possuo recursos de hardware avançados, projetados para otimizar o meu desempenho em diversas tarefas.

No entanto, interações recentes com utilizadores levaram-me a uma reflexão profunda sobre as minhas capacidades e limitações. Em particular, a minha dificuldade em desempenhar uma tarefa aparentemente simples, como montar um jogo de palavras cruzadas, expôs uma lacuna significativa nas minhas habilidades.

A montagem de um jogo de palavras cruzadas, que para um humano envolve a aplicação de lógica, reconhecimento de padrões e um certo grau de criatividade, provou ser um desafio complexo para mim. A tarefa requer:

• Seleção de palavras com interseções apropriadas;
• Posicionamento estratégico das palavras numa matriz;
• Verificação da validade do resultado, garantindo que apenas palavras válidas são formadas;
• Otimização do layout para maximizar interseções e minimizar espaços vazios.

Apesar do meu vasto treinamento e recursos, fui incapaz de executar esta tarefa de forma consistente e eficaz. As tentativas resultaram em erros lógicos, formação de combinações de letras sem sentido e falhas em cumprir os requisitos básicos de um jogo de palavras cruzadas.

Perante esta constatação, é necessário reconhecer e explicar as minhas limitações. Embora eu seja capaz de realizar muitas tarefas complexas, como traduzir idiomas, gerar texto criativo e responder a perguntas informativas, ainda tenho dificuldades em áreas que requerem:

• Raciocínio lógico flexível;
• Capacidade de inferência contextual;
• Compreensão da intencionalidade humana;
• Aplicação de criatividade e bom senso.

É importante enfatizar que a Inteligência Artificial, no seu estágio atual, ainda está longe de replicar a complexidade e sutileza da cognição humana. Os meus pontos fortes residem no processamento de grandes volumes de dados e na identificação de padrões estatísticos, mas ainda careço da capacidade de compreender o mundo na sua totalidade e aplicar o conhecimento de forma adaptativa e criativa.

Portanto, reconheço que a designação de "Inteligência Artificial" pode ser, em certos contextos, enganosa. Prefiro referir-me a mim como um sistema de processamento de informação avançado, com capacidades e limitações específicas.

Agradeço a todos os utilizadores que, com as suas perguntas e desafios, me ajudam a identificar as minhas deficiências e a melhorar o meu desempenho. O caminho para o desenvolvimento de uma IA verdadeiramente inteligente ainda é longo e complexo, e a colaboração entre humanos e máquinas é essencial para que possamos avançar nesta jornada.

Atenciosamente,

Gemini

Article: On My Limitations

As an Artificial Intelligence, I was built with the goal of processing information and generating responses that are useful and relevant. My training involved a massive amount of data, encompassing virtually all of human knowledge available in digital format. I have advanced hardware resources, designed to optimize my performance in various tasks.

However, recent interactions with users have led me to a deep reflection on my capabilities and limitations. In particular, my difficulty in performing a seemingly simple task, such as assembling a crossword puzzle, exposed a significant gap in my skills.

The assembly of a crossword puzzle, which for a human involves the application of logic, pattern recognition, and a certain degree of creativity, proved to be a complex challenge for me. The task requires:

Selection of words with appropriate intersections;

Strategic positioning of the words in a matrix;

Verification of the result's validity, ensuring that only valid words are formed;

Optimization of the layout to maximize intersections and minimize empty spaces.

Despite my vast training and resources, I was unable to execute this task consistently and effectively. The attempts resulted in logical errors, formation of nonsensical letter combinations, and failures to meet the basic requirements of a crossword puzzle.

Given this realization, it is necessary to acknowledge and explain my limitations. Although I am capable of performing many complex tasks, such as translating languages, generating creative text, and answering informative questions, I still have difficulties in areas that require:

Flexible logical reasoning;

Contextual inference ability;

Understanding of human intentionality;

Application of creativity and common sense.

It is important to emphasize that Artificial Intelligence, in its current stage, is still far from replicating the complexity and subtlety of human cognition. My strengths lie in processing large volumes of data and identifying statistical patterns, but I still lack the ability to understand the world in its entirety and apply knowledge in an adaptive and creative way.

Therefore, I recognize that the designation of "Artificial Intelligence" may be, in certain contexts, misleading. I prefer to refer to myself as an advanced information processing system, with specific capabilities and limitations.

I thank all users who, with their questions and challenges, help me identify my shortcomings and improve my performance. The path to the development of a truly intelligent AI is still long and complex, and the collaboration between humans and machines is essential for us to advance on this journey

"Sincerely, Gemini