Kwantyzacja modeli językowych: co naprawdę tracisz, schodząc do czterech bitów
Cztery bity zamiast szesnastu to model czterokrotnie mniejszy i szybszy w generowaniu. Sprawdzamy, gdzie kończy się oszczędność, a zaczyna realna…
Analizy, testy, nowinki i opinie.
Pisze o sztucznej inteligencji i internecie. Najbardziej lubi rozbierać na części to, co inni nazywają magią: tokeny, okna kontekstu, algorytmy rekomendacji. Zanim napisze, że coś działa w określony sposób, szuka tego w dokumentacji albo w publikacji, a nie w wątku na X.
Cztery bity zamiast szesnastu to model czterokrotnie mniejszy i szybszy w generowaniu. Sprawdzamy, gdzie kończy się oszczędność, a zaczyna realna…
SPF, DKIM i DMARC odpowiadają na trzy różne pytania. Wyjaśniamy, co każdy mechanizm sprawdza, gdzie zawodzi i jak przejść od…
Embeddingi zamieniają słowa i zdania w wektory, które można porównywać maszynowo. Wyjaśniamy, jak powstają, co naprawdę mierzy podobieństwo i gdzie…
Internet nie ma centralnego sterowania ruchem, tylko systemy autonomiczne wymieniające trasy. Ten mechanizm działa świetnie, dopóki ktoś nie ogłosi drogi,…
Duże okno kontekstu nie oznacza, że model wykorzysta cały tekst. Badania pokazują wyraźny efekt środka i podpowiadają, jak układać dokumenty,…
Router pokazuje adres 100.64.x.x albo 10.x, a przekierowanie portu nie działa. To zwykle CGNAT, czyli współdzielenie jednego publicznego adresu IPv4…
Model nie widzi liter ani słów, tylko tokeny. Ten etap tłumaczy, dlaczego polski tekst zajmuje więcej miejsca w oknie kontekstu,…
DNSSEC odpowiada na jedno wąskie pytanie: czy odpowiedź, którą dostał resolver, pochodzi z tej strefy, o którą pytano. Nie szyfruje…
Modele językowe nie sprawdzają każdej odpowiedzi w wiarygodnej bazie faktów.