Kategoria: Modele AI

Kategorie
konferencja Modele AI narzędzia AI

Premiera dwóch nowych modeli Bielik z polskim tokenizerem na konferencji KUKDM 2026

Zakopane, 14 kwietnia 2026 — Podczas 18. Konferencji Użytkowników Komputerów Dużej Mocy (KUKDM 2026) w Zakopanem zespół Bielik AI zaprezentował dwa nowe modele językowe: Bielik-PL-11B-v3.0-Instruct oraz Bielik-PL-Minitron-7B-v3.0-Instruct. To pierwsze warianty rodziny Bielik wyposażone w dedykowany, zoptymalizowany pod kątem języka polskiego tokenizer.

Prezentacja na KUKDM 2026

Premiera odbyła się 14 kwietnia o godz. 10:35 w ramach prezentacji „Optymalizacja architektury w modelach Bielik”, którą wygłosili Krzysztof Ociepa i Krzysztof Wróbel z zespołu Bielik AI. Konferencja KUKDM, organizowana przez Akademickie Centrum Komputerowe Cyfronet AGH, odbywa się w dniach 13–15 kwietnia 2026 w Hotelu Bachleda Kasprowy w Zakopanem i gromadzi środowisko naukowe oraz technologiczne związane z obliczeniami dużej mocy w Polsce.

Co nowego w modelach Bielik PL?

Kluczową innowacją zaprezentowanych modeli jest przejście z uniwersalnego tokenizera Mistral na dedykowany słownik zoptymalizowany dla języka polskiego. Dotychczasowe modele Bielik korzystały z tokenizera zaprojektowanego dla wielu języków, co prowadziło do wyższych współczynników fragmentacji tekstu polskiego, zwiększonych kosztów inferencji oraz ograniczonego efektywnego okna kontekstowego.

Nowe modele wykorzystują inicjalizację embeddingów opartą na metodzie FOCUS, wieloetapowy program pretreningu oraz zaawansowany pipeline post-treningowy obejmujący:

  • Supervised Fine-Tuning (SFT) — dostrajanie nadzorowane
  • Direct Preference Optimization (DPO) — optymalizacja preferencji
  • Group Relative Policy Optimization (GRPO) z weryfikowalnymi nagrodami — uczenie ze wzmocnieniem

Wyniki benchmarków

Według opublikowanej pracy naukowej, model Bielik-11B-v3.0-Instruct osiąga wynik 65,93 w średniej 5-shot na Open LLM Leaderboard, plasując się wśród czołowych modeli i wyprzedzając niektóre znacznie większe rozwiązania, takie jak Meta-Llama-3.1-70B-Instruct.

Warianty z polskim tokenizerem uzyskują wyniki 64,11 (Bielik-PL-11B) oraz 61,66 (Bielik-PL-Minitron-7B), co potwierdza, że optymalizacja tokenizera nie odbywa się kosztem jakości modelu. W testach specjalistycznych dla języka polskiego, w tym w Polish Medical Benchmark, model 11B osiągnął znaczącą poprawę wyników względem wersji bazowej.

Kompresja bez utraty jakości

Model Bielik-PL-Minitron-7B powstał w wyniku kompresji wariantu 11B z wykorzystaniem technik structured pruning i knowledge distillation, opracowanych we współpracy z inżynierami NVIDIA. Dzięki temu udało się osiągnąć redukcję rozmiaru modelu o 33% oraz do 50% szybszą inferencję, zachowując przy tym ok. 90% jakości pełnego modelu. Metoda ta została po raz pierwszy zaprezentowana podczas NVIDIA GTC w marcu 2026.

Publikacja naukowa

Szczegóły techniczne nowych modeli zostały opisane w publikacji naukowej „Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series„, opublikowanej 12 kwietnia 2026 na platformie arXiv (ID: 2604.10799). Autorami pracy są Krzysztof Ociepa, Łukasz Flis, Remigiusz Kinas, Krzysztof Wróbel, Adrian Gwoździej.

Linki: