Kalkulator RAM do lokalnego AI

Kategoria: Lokalne AI

Po podaniu dwóch liczb, rozmiaru modelu i długości okna kontekstu, kalkulator poniżej dodaje do nich podłogę systemową i pokazuje, ile pamięci naprawdę zniknie. To ten sam rachunek, który rozpisałem w tekście o tym, ile RAM potrzebuje lokalne AI, tylko policzony na własnych liczbach.

Wszystkie wartości domyślne pochodzą z jednej maszyny: AMD Ryzen AI 9 HX 470, 24 rdzenie, zintegrowana grafika Radeon 890M, dysk NVMe 1 TB. Rozmiary plików modeli to seria pomiarów z września 2026, a zajętość notatnika rozmowy i okno pamięci grafiki to odczyty z października 2026, po rozbudowie pamięci do 64 GB. Kalkulator nie mierzy Twojej maszyny, tylko dodaje trzy składniki i sprawdza, co zostaje.

Co kalkulator dodaje do rozmiaru pliku

Rozmiar pliku jest wpisowe, nie całym rachunkiem. W momencie, w którym model odpowiada, w pamięci leżą równocześnie trzy rzeczy, a czwarta pozycja na liście jest limitem, nie składnikiem:

• Plik modelu. Od około 4 GB do 21 GB w tym, co trzymam u siebie (pomiar, wrzesień 2026).
• Notatnik rozmowy. 1 GB na każde 32 tys. tokenów okna kontekstu (szacunek z pomiaru: około 4 GB na 128 tys. tokenów przy modelu średniej wielkości, październik 2026).
• System i usługi. 400 MB na Ubuntu Server w spoczynku (pomiar), 4-6 GB na Windowsie (pomiar), 4-8 GB przy Dockerze, bramie API i bazie wektorowej (szacunek).
• Okno pamięci zintegrowanej grafiki. U mnie około 19 GB wyciętych z pamięci systemowej (odczyt, październik 2026). Kalkulator liczy je osobno, bo to osobne ograniczenie firmware, a nie część sumy.

Skąd biorą się bity na wagę

Jeśli nie znasz rozmiaru pliku, kalkulator policzy go z dwóch liczb: parametry razy bity na wagę, podzielone przez osiem. Dla modelu o 27 miliardach parametrów przy 4,8 bita wychodzi 16,2 GB, a plik, który mam na dysku, waży 16 GB. Skąd te wartości w liście rozwijanej i dlaczego wszystkie wiersze Qwen w mojej tabeli mieszczą się w pasmie 4,7-5,1 bita, rozpisałem w tekście o tym, ile bitów przypada na wagę modelu. Dwa warianty są na liście z innego powodu niż mocniejsza kompresja: gpt-oss-20b jest udostępniony natywnie w MXFP4, a modele QAT uczyły się od razu na czterech bitach. Wiersz ośmiobitowy jest rachunkiem, ponieważ takiego pliku u siebie nie mierzyłem.

Dlaczego notatnik liczy się osobno

Okno kontekstu rośnie z każdą turą

Notatnik to przeliczona postać całej dotychczasowej rozmowy i leży w pamięci obok wag modelu. Przy 32 GB w maszynie trzymałem na dużych modelach limit 16 tys. tokenów, żeby system nie zaczął zapisywać na dysk wymiany; po rozbudowie te same modele pracują u mnie na 64-128 tys. Dlaczego przycięty notatnik wygląda dokładnie jak halucynacja, opisałem w tekście o tym, dlaczego model zapomina, co mu kazałeś. Pozycja „kwantyzowany na 8 lub 4 bitach” zmniejsza tę pozycję o połowę, bo tyle daje zapis notatnika w niższej precyzji.

Liczy się zapas, nie samo zmieszczenie się

Kalkulator nie odpowiada „tak” albo „nie”, bo ta odpowiedź jest myląca. Pokazuje, ile zostaje po odjęciu trzech składników od podanej pamięci i nazywa ten zapas: poniżej 2 GB nie ma go wcale, od 2 do 6 GB jest minimalny, powyżej 6 GB realny. Model 21 GB z oknem 64 tys. tokenów na Windowsie daje 27-29 GB, czyli na maszynie z 32 GB zostaje 3-5 GB na wszystko inne, i dlatego taka konfiguracja działa w teście, a bywa ciasna w pracy. Ostatni wiersz pokazuje dodatkowo rachunek z dwa razy dłuższym oknem, bo pamięć warto dobierać z zapasem na jeden poziom kontekstu wyżej od planowanego. Co zmienia przejście na wyższy próg, rozpisałem w tekście 32 GB czy 64 GB do lokalnego AI.

Trzy rzeczy poza rachunkiem i jedno założenie

Nie liczy pracy wsadowej ani dwóch modeli równocześnie, ponieważ jeden wątek użytkownika to inny rachunek niż kilka kolejek naraz. Nie liczy modelu do wektorów, jeśli trzymasz go obok głównego, ani czasu czytania promptu, którego nie mam zmierzonego w żadnym benchmarku. Szacunek 1 GB na 32 tys. tokenów pochodzi z pomiaru jednego modelu średniej wielkości, a model z inną organizacją warstw uwagi może potrzebować wielokrotnie mniej albo więcej. I nie zastępuje własnego pomiaru: przy innym wariancie kwantyzacji ten sam model potrafi zająć kilka gigabajtów więcej, niż wychodzi z rachunku. Jak postawić całość i zobaczyć te liczby u siebie, opisałem w tekście o tym, jak uruchomić lokalny model na llama.cpp i LiteLLM.