Zapraszamy na kolejne spotkanie Koła Naukowego Data Science!
🧠 Temat: Tutorial projektowania architektury modelu językowego
🎤 Prelegent: Paweł Cyrta – Senior AI Architect @ Sii
🗓️ Kiedy: 26 listopada, 18:10
📍 Gdzie: Wydział MiNI PW, sala 103
💡 O czym będzie?
Podczas prelekcji omówimy, jak projektuje się architekturę współczesnych modeli językowych – od kluczowych komponentów (attention mechanisms, normalization layers, positional encodings, activation functions) po wpływ tych decyzji na wydajność i skalowalność kolejnych generacji LLM.
Przedstawione zostaną również najważniejsze elementy optymalizacji treningu, takie jak dobór hiperparametrów (strategie warm-upu, długość sekwencji) czy przygotowanie danych.
Na koniec pojawi się przegląd optymalizacji wnioskowania (w tym KV-cache, continuous batching i speculative decoding) oraz omówienie zalet i trade-offów różnych inference engines (takich jak vLLM, SGLang i TRT-LLM).
Do zobaczenia na spotkaniu!
