Construir LLMs Desde o Zero - AiA: Pré-Treinamento de LLMs

Junte-se à nossa série de eventos para aprender como construir Modelos de Linguagem de Grande Escala (LLMs) do zero.

Se não participou dos eventos anteriores, sinta-se à vontade para vir ouvir e interagir.

*Junte-se a nós para construir seu LLM do zero!* Aprenda fazendo junto com uma comunidade de apoio.

Este é um bootcamp de aprendizagem prática focado em Modelos de Linguagem de Grande Escala (LLMs), que se estende por vários meses. Você aprenderá a projetar, pré-treinar e ajustar finamente seu próprio modelo semelhante ao GPT.

O programa é adequado para pessoas com formação quantitativa. Conhecimento prático de Python, Pytorch e Machine Learning é um plus, mas não é obrigatório.

Dois pré-requisitos principais são:

- estar confortável com computadores e matemática (nível de licenciatura)

- disposto a dedicar cerca de 40 horas/mês a um aprendizado focado

- Estudo: ler/assistir materiais, executar o código e resolver os exercícios

- Pesquisa: ler artigos, explorar e experimentar, tentar quebrar coisas

- Reunião de grupo: reuniões mensais, resumir os principais insights, perguntas e respostas

- Discord: discutir sobre qualquer coisa, compartilhar recursos, fazer perguntas

IMPORTANTE:

- Por favor, preencha para juntar-se ao grupo do WhatsApp e Discord

- Logística: as reuniões são presenciais, local e hora serão atualizados no Discord e Meetup

Vejo você lá! Dan & Mark

Planeamos reunir-nos a cada 3/4 semanas, aproximadamente na última semana do mês.

- Mês 0 Introdução - Seg, 4 de Nov.

- Mês 1 Tokenização e Embeddings - Seg, 25 de Nov.

- Mês 2 Projeto: construa seu próprio tokenizador - Seg, 8 de Jan.

- Mês 3 Mecanismos de Atenção - Seg, 3 de Fev.

- Mês 4 Arquitetura Transformer e GPT - Seg, 24 de Fev.

- Mês 5 Pré-treinamento de LLMs - Qua, 2 de Abr.

- Mês 6 Ajuste fino de LLMs - Seg, 5 de Mai.

- Mês 7 Projeto Final: construa seu próprio GPT-2 - Seg, 26 de Mai.

Os primeiros 3 meses têm materiais opcionais que permitem a todos adquirirem o conhecimento fundamental necessário para construir LLMs.

O nosso objetivo é democratizar o Aprendizado de Máquina e a IA. Experimentamos com projetos práticos sobre LLMs como RAGs, quantização e outras aplicações da vida real. Acreditamos que não importa quem você é, de onde vem, você pode construir e contribuir para moldar o futuro com tecnologias de IA melhores e mais seguras.

1. Há alguma taxa? Sem taxa, sem custo oculto, além do livro de texto. Se não puder pagar, entre em contato connosco. A maioria dos materiais está disponível publicamente.

2. O que vou aprender depois de completar o programa? No mínimo, você terá uma compreensão muito mais profunda dos LLMs do que através do YouTube e posts em blogs. No melhor cenário, com os recursos certos, você criará novos LLMs personalizados todos os meses.

3. Como posso juntar-me ao grupo do Discord e WhatsApp? Preencha o formulário na descrição do evento para receber convites para se juntar aos grupos.

4. Que tipo de apoio está disponível? O apoio está disponível em tempo real no Discord. Podemos organizar dias de co-trabalho além da reunião mensal.

5. E se eu perder uma reunião? As discussões e recursos das reuniões estarão disponíveis no Discord e GitHub para ajudá-lo a acompanhar.

6. Posso juntar-me após o início da série? O melhor é juntar-se desde o início, mas você pode juntar-se mais tarde se tiver o tempo/conhecimento necessário para alcançar o que perdeu.