A arquitetura Transformer, inicialmente introduzida no artigo “Attention is All You Need” por Vaswani et al., 2017, revolucionou o campo da Inteligência Artificial (IA), especificamente no domínio do Processamento de Linguagem Natural (NLP). Desde então, muitos avanços foram feitos nesta área, graças ao potencial dessa arquitetura inovadora.
Índice
O que é o Transformer?
A arquitetura Transformer é um modelo de aprendizado profundo introduzido pela primeira vez para resolver problemas de tradução automática. O nome “Transformer” decorre do método utilizado para processar dados: ele “transforma” um tipo de representação de dados em outro através do uso da chamada “mecânica da atenção”.
O Transformer é composto pelo codificador e pelo decodificador. O codificador lê e compreende a entrada, enquanto o decodificador gera a saída com base no que o codificador aprendeu. O que distingue a arquitetura Transformer é o mecanismo de atenção, que permite ao modelo focalizar diferentes partes da entrada ao gerar a saída. Essa característica é particularmente útil em tarefas de NLP, onde a compreensão do contexto é crucial.
Para que serve a arquitetura Transformer?
A arquitetura Transformer foi inicialmente desenvolvida para tradução automática. Entretanto, sua flexibilidade permitiu que fosse adotada em muitas outras tarefas de NLP, como resumo de textos, resposta a perguntas, classificação de sentimentos, geração de texto e muito mais.
O aspecto mais notável da arquitetura Transformer é a sua capacidade para entender e gerar linguagem humana de maneira contextual. A capacidade de prestar “atenção” a diferentes partes de uma sentença permite que o Transformer compreenda nuances, ambiguidades e subtilezas da linguagem humana. Isso o torna mais eficaz em compreender e gerar texto do que os modelos de aprendizado de máquina anteriores.
Principais componentes do Transformer
A arquitetura Transformer é composta por três componentes principais: o codificador, o decodificador e o mecanismo de atenção.
Codificador
O codificador do Transformer é responsável por ler e compreender a sequência de entrada. Ele faz isso por meio de várias camadas de codificação, onde cada camada consiste em duas partes: uma subcamada de atenção de múltiplas cabeças e uma subcamada de rede neural feed-forward.
A subcamada de atenção de múltiplas cabeças permite que o Transformer considere várias “versões” da mesma entrada ao mesmo tempo, cada uma com um foco diferente. Cada “cabeça” de atenção aprende a se concentrar em diferentes aspectos da entrada, daí o nome “atenção de múltiplas cabeças”.
A subcamada de rede neural feed-forward, por outro lado, é uma rede neural tradicional que segue diretamente após a subcamada de atenção de múltiplas cabeças. Ela ajuda a aprender combinações mais complexas das características extraídas pela subcamada de atenção.
Em resumo: o codificador lê a sequência de entrada e a codifica em uma representação interna, chamada de embedding, que captura o significado da sequência.
Decodificador
O decodificador do Transformer é responsável por gerar a sequência de saída com base no que o codificador aprendeu. Semelhante ao codificador, o decodificador também consiste em várias camadas, cada uma com uma subcamada de atenção de múltiplas cabeças, uma subcamada de atenção de múltiplas cabeças “mascarada”, e uma subcamada de rede neural feed-forward.
A atenção de múltiplas cabeças “mascarada” é uma modificação da atenção de múltiplas cabeças que impede que o decodificador “olhe para o futuro”. Isso é, ele só permite que o decodificador considere palavras que já foram geradas, garantindo que cada palavra na saída seja gerada com base apenas nas palavras anteriores.
Em resumo: o decodificador recebe a representação interna do codificador e a transforma na sequência de saída.
Mecanismo de Atenção
O mecanismo de atenção é a pedra angular da arquitetura Transformer. Ele permite que o modelo “concentre-se” em diferentes partes da sequência de entrada ao gerar a saída. Tecnicamente, a atenção é calculada como um produto escalar de uma “consulta” e uma “chave”, que são transformações das entradas, seguidas pela aplicação de uma função softmax para obter os pesos de atenção. Os pesos de atenção são então usados para calcular uma soma ponderada dos “valores”, que também são transformações das entradas.
Em resumo: o mecanismo de atenção permite que o modelo se concentre em diferentes partes da sequência de entrada ao gerar a saída, dando ao modelo uma compreensão mais rica e contextualizada do texto.
Juntos, esses componentes permitem que o Transformer processe sequências de forma eficiente e eficaz, fazendo dele uma escolha popular para muitas tarefas de NLP.
Modelos baseados em Transformer
BERT: traduzindo texto bidirecionalmente
BERT, que significa Bidirectional Encoder Representations from Transformers, é um dos primeiros e mais influentes modelos baseados em Transformer. Ele usa a estrutura de codificação do Transformer para entender o contexto de palavras em uma sentença, analisando o texto em ambas as direções. Isso permite ao BERT entender nuances e subtextos que podem ser perdidos em modelos unidirecionais.
O BERT é pré-treinado em enormes quantidades de texto e depois afinado para tarefas específicas, como classificação de texto ou preenchimento de lacunas. Devido à sua capacidade de entender o contexto em profundidade, o BERT estabeleceu novos padrões de desempenho em várias tarefas de NLP.
GPT: geração de texto avançada
GPT, ou Generative Pretrained Transformer, é outro modelo influente baseado na arquitetura Transformer. Ao contrário do BERT, que é unidirecional, o GPT é treinado para prever a próxima palavra em uma sentença, o que o torna particularmente bom para a geração de texto.
A última versão deste modelo, o GPT-3, possui 175 bilhões de parâmetros e é capaz de gerar texto incrivelmente coerente e relevante. O GPT tem aplicações em uma variedade de áreas, incluindo escrita assistida, geração de poesia, tradução automática e até mesmo escrita de código.
T5: o versátil tradutor de texto para texto
O T5, ou Text-To-Text Transfer Transformer, aborda todas as tarefas de NLP como problemas de tradução de texto para texto. Isto significa que o T5 pode ser treinado em várias tarefas de NLP ao mesmo tempo, como tradução, resumo de texto, classificação de texto e geração de texto.
Esta abordagem versátil torna o T5 um dos modelos baseados em Transformer mais poderosos e flexíveis disponíveis. Ele pode se adaptar a uma variedade de tarefas com pouca ou nenhuma modificação na arquitetura do modelo.
RoBERTa: otimizando o pré-treinamento do BERT
RoBERTa, ou A Robustly Optimized BERT Pretraining Approach, é uma variação do BERT que usa técnicas de treinamento mais eficazes para melhorar o desempenho do modelo. O RoBERTa aumenta a quantidade de texto usado para o treinamento prévio, remove a tarefa de preenchimento de lacunas e treina o modelo por mais tempo para obter um desempenho melhor.
Embora o RoBERTa seja muito semelhante ao BERT na arquitetura, essas mudanças no processo de treinamento resultam em um modelo que supera o BERT em várias tarefas de NLP.
Antes e depois do Transformer
Antes do advento da arquitetura Transformer, os modelos de NLP se baseavam principalmente em redes neurais recorrentes (RNNs) e Long Short-Term Memory (LSTMs). No entanto, esses modelos têm limitações significativas. Por exemplo, eles são propensos ao desvanecimento do gradiente e têm dificuldade em lidar com dependências de longo alcance. A arquitetura Transformer foi projetada para superar essas limitações.
Desvanecimento do gradiente é um problema que ocorre durante o treinamento de redes neurais usando algoritmos baseados em gradiente, como a retropropagação. Especificamente, é um fenômeno onde o gradiente, ou a taxa de erro, diminui exponencialmente à medida que é propagado de volta através das camadas da rede neural durante o treinamento. Isso pode tornar o ajuste dos pesos (e, portanto, o aprendizado) das camadas anteriores muito lento e ineficaz.
O Transformer processa todas as palavras ou tokens de uma sequência simultaneamente, enquanto as RNNs e LSTMs processam sequências palavra por palavra. Isso permite que o Transformer seja mais paralelizável e, portanto, mais eficiente. Além disso, o Transformer utiliza um mecanismo de atenção de auto-atenção que permite que ele modele dependências de longo alcance com facilidade.
Melhorando a compreensão do contexto
Um dos principais impactos da arquitetura Transformer no NLP é sua capacidade de compreender o contexto de uma palavra em uma sequência. Isso é realizado através do mecanismo de atenção, que permite ao modelo se concentrar em diferentes partes da sequência ao gerar a saída.
Isso deu origem a modelos como o BERT (Bidirectional Encoder Representations from Transformers), que podem entender o contexto de uma palavra analisando o texto em ambas as direções. Como resultado, o BERT e modelos semelhantes conseguem alcançar um desempenho impressionante em várias tarefas de NLP, como preenchimento de lacunas, classificação de sentimentos e resposta a perguntas.
A arquitetura Transformer também teve um impacto significativo na geração de texto. Modelos como o GPT (Generative Pretrained Transformer) utilizam o Transformer para gerar texto que é coerente, relevante e surpreendentemente humano em estilo. Esses modelos de geração de texto são usados em uma variedade de aplicações, desde assistentes de redação até bots de conversação.
