SpeakLeash | Spichlerz

Pragniemy lepiej zrozumieć, jak duże modele językowe są wykorzystywane w praktyce przez profesjonalistów z różnych sektorów biznesu i nauki.

🦸 Dlaczego Twoja opinia jest dla nas ważna?

Liczymy, iż dowiemy się, w jaki sposób LLMy zmieniają krajobraz biznesowy, w których obszarach znajdują największe zastosowanie, oraz jakie są oczekiwania wobec przyszłych innowacji.

🎈 Spodziewane korzyści z badania

Twoje odpowiedzi pomogą nam zidentyfikować kluczowe tendencje, potrzeby oraz możliwości związane z zastosowaniem LLM.

Ostatecznym celem jest lepsze zrozumienie, jak możemy wspierać biznes i naukę w wykorzystywaniu tych technologii dla maksymalizacji wartości i innowacyjności.

📊 Jak możesz pomóc?

Wypełniając naszą ankietę! https://lnkd.in/d_s-c3ja

Ankieta jest krótka i nie powinna zająć Wam więcej niż 10 minut.

Niektórzy mówili, że to niemożliwe albo z ironią  życzyli nam powodzenia. Wiele osób jednak kibicowało temu przedsięwzięciu i po nieco ponad roku pomysłodawca pierwszego polskiego i otwartego projektu open-source/open-science może patrzeć z dumą na efekty i dziękować wszystkim za początkową dawkę motywacji. Bez budżetu, rozdmuchanego marketingu czy sponsorów, za to z wielkimi ambicjami, poświęceniem wolnego czasu, często też kosztem snu czy innych prywatnych aktywności. Polski zespół entuzjastów z projektu SpeakLeash aka Spichlerz właśnie opublikował swój pierwszy duży model językowy o nazwie Bielik-7B-v0.1. Czy sprawi, że odlecimy z zachwytu czy jednak czeka ich lot Ikara?

SpeakLeash to inicjatywa open-science, która zaczęła działać ponad półtora roku temu, stawiając sobie za cel stworzenie największego polskiego zbioru danych tekstowych oraz opracowanie otwartego dużego modelu językowego (ang. large language model, w skrócie LLM). W skład zespołu projektowego wchodzą przede wszystkim pracownicy polskich przedsiębiorstw, badacze z ośrodków naukowych oraz studenci kierunków związanych z obszarami sztucznej inteligencji. Zaangażowanie członków projektu, którzy poświęcają swój prywatny czas i umiejętności pro bono służy nie tylko realizacji wspomnianego zadania, lecz także tworzeniu społeczności oraz – przede wszystkim – rozwojowi ekosystemu służącego budowie zaawansowanych modeli językowych (a wkrótce może również multimodalnych, czyli analizujących więcej niż jedno źródło informacji, np.: tekst i zdjęcia).

Rok 2024 dla SpeakLeash zaczął się spektakularnie, bo w styczniu ogłosili zebranie 1 TB danych, a więc udało im się już osiągnąć główny cel projektu. Co ważne, zebrane dane są opisane i przygotowane pod kątem AI ACT – nowej dyrektywy unijnej regulującej sprawy związane z uczeniem maszynowym, sztuczną inteligencją oraz użyciem danych do treningu modeli. Tym samym SpeakLeash stał się największym, najlepiej opisanym i udokumentowanym zbiorem danych w języku polskim.

Niemalże równocześnie pojawił się model APT3-1B-Base oraz APT3-1B-Instruct, który został w większości wytrenowany na danych pochodzących z zasobów Spichlerza. Model wytrenowany został na konsumenckiej karcie graficznej, przez co trening trwał prawie półtora miesiąca (dokładnie były to 44 dni ciągłego przetwarzania 285 GB danych treningowych). Pomimo relatywnie niewielkiego rozmiaru modelu (1B, czyli 1 miliard parametrów), potrafi on odpowiadać w języku polskim, ale członkowie projektu mieli większe ambicje.

SpeakLeash był znany już wcześniej w środowisku, ponieważ współpracował z ośrodkami naukowymi zajmującymi się przetwarzaniem języka naturalnego, takimi jak Clarin, PAN IPI czy też NASK PIB. Jednak zebranie tak dużej liczby danych oraz wytrenowanie modelu APT3-1B pokazało determinację tej grupy  badaczy i entuzjastów. Jednocześnie wysłali jasny sygnał, że mają chęć na więcej i nie jest to ich ostatnie słowo w kontekście dużych modeli językowych.

Kamieniem milowym okazało się rozpoczęcie ścisłej współpracy SpeakLeash – Akademickie Centrum Komputerowe Cyfronet AGH. Cyfronet jest polskim centrum superkomputerowym i ostatnim brakującym elementem w układance. Jako pierwszy komercyjny odbiorca na świecie najnowszych akceleratorów graficznych (ang. GPU) GH200 produkcji NVidii są w stanie zaproponować niespotykaną na polskiej ziemi moc obliczeniową szacowaną na 35 petaflopów. Superkomputery Athena oraz Helios, notowane na liście TOP500, od ponad miesiąca wspomagają Spichlerz w tworzeniu, eksperymentowaniu oraz testowaniu LLM-ów.

Linki:

• Bielik-7B-v0.1: https://huggingface.co/speakleash/Bielik-7B-v0.1
• Bielik-7B-Instruct-v0.1: https://huggingface.co/speakleash/Bielik-7B-Instruct-v0.1
• Demo – porozmawiaj z Bielikiem 7B: https://huggingface.co/spaces/speakleash/Bielik-7B-Instruct-v0.1

Przestrzeń SpeakLeash na HF (m.in. wersje skwantyzowane): https://huggingface.co/speakleash

🚀 Już w ten czwartek (7 grudnia) na Pytech Summit (https://pytechsummit.pl/) będziecie mieli przyjemność posłuchać reprezentacji zespołu Spichlerz, w składzie Szymon Baczyński i Igor Ciuciura. 🎙️

Prelekcja dotyczyć będzie tworzenia pakietu Speakleash jako narzędzia obsługi danych.

Konferencja odbywa się w trybie online. Zarezerwuj swój bilet już dziś! 🎟️

Witajcie Speakleashers! 

Chcielibyśmy podzielić się z Wami najnowszymi aktualizacjami dotyczącymi naszych danych treningowych. Od ostatniej aktualizacji udało nam się pozyskać imponujące 28GB nowych danych, które będą miały ogromne znaczenie dla rozwoju naszego modelu. 

Wśród tych danych szczególną uwagę warto zwrócić na rozbudowaną technologię OCR, która umożliwia analizę tekstu zawartego na obrazach. 

Ponadto udało nam się zdobyć znaczną ilość danych z kategorii motoryzacji oraz o tematyce sportowej. To niewątpliwie poszerzy nasze możliwości szkolenia modelu i umożliwi mu lepsze zrozumienie tych dziedzin. 

W ramach tych aktualizacji wprowadziliśmy również nowe metryki oceny jakości poszczególnych tekstów oraz całych paczek danych. Każdy tekst jest teraz oznaczany jako high, med lub low w zależności od jego jakości. To pomoże nam lepiej zrozumieć i selekcjonować wartościowe informacje. 

Dział inżynierii lingwistycznej pod wodzą Maria Filipkowska, PhD Filipkowska działa w pełnym wymiarze czasu i jest niezmiernie zaangażowany w rozwijanie naszych zasobów. Dzięki ich wysiłkom, nasz zespół jest gotowy, by dostarczyć Wam jeszcze lepsze dane treningowe. 

Dziękujemy Wam za cenne uwagi i wsparcie, które pomagają nam w rozwoju Speakleash. Pracujemy ciężko, aby dostarczyć Wam jak najlepsze doświadczenia i informacje. 

Zapraszamy do dalszego korzystania z naszych zasobów i życzymy Wam wspaniałego dnia!

#data #nlp #speakleash #datasets

Zapraszamy na premierę najnowszego odcinka podcastu NIELINIOWY na Youtube w którym Michal Dulemba rozmawia z ekipą techniczną naszego projektu: Maria Filipkowska, PhD, Jacek Chwiła, Adrian Gwoździej, Grzegorz Urbanowicz i Paweł Kiszczak.
https://lnkd.in/dESakTbb

Rozmowa m.in. na temat:
– ile danych już udało się zebrać
– różnorodności danych tekstowych
– sztucznie generowanych danych tekstowych
– kilometrach danych w archiwach państwowych
– motywacji członków ekipy
– korzyści z przystąpienia do Spichlerza
– różnorodności umiejętności technicznych przydatnych w Spichlerzu
– wpływu Spichlerza na rekrutację
– dumy z pracy nad typowo polskim projektem

Z wielką dumą pragniemy poinformować, że zostaliśmy oficjalnymi partnerami wyjątkowego hackathonu – Hack to the Rescue!

Hack to the Rescue jest największym na świecie wydarzeniem z dziedziny Generative AI. Jego tegorocznym celem jest wyszukanie najskuteczniejszych rozwiązań, które pomogą organizacjom non-profit w radzeniu sobie z najpilniejszymi wyzwaniami, jakie niesie ze sobą współczesny świat. Jest to wydarzenie online, które odbędzie się 14-15 czerwca.

Pragniemy zaznaczyć, że wśród mentorów tego niezwykłego hackathonu znajdują się Maria Filipkowska oraz Adrian Gwoździej, którzy na co dzień z nami współpracują nad projektem Speakleash! Jest nam niezmiernie miło, że są z nami i swoją postawą motywują do ciągłego rozwoju.

Zapraszamy do zapoznania się ze szczegółami wydarzenia pod linkiem: https://hacktotherescue.org/