Kategoria: Lokalne AI
„Model waży 21 GB, więc 32 GB pamięci wystarczy”. Tak brzmi najczęstsze założenie przy zakupie maszyny do lokalnego AI i jest ono o trzy składniki za krótkie. Rozmiar pliku to wpisowe, nie cały rachunek.
Wszystkie liczby poniżej pochodzą z jednej maszyny: AMD Ryzen AI 9 HX 470, 24 rdzenie, zintegrowana grafika Radeon 890M, dysk NVMe 1 TB. Prędkości generowania to seria pomiarów z września 2026. Obserwacje po rozbudowie pamięci pochodzą z października 2026, kiedy te same 32 GB zamieniłem na dwa moduły SODIMM po 32 GB, czyli 64 GB. Ten sam system, te same modele, to samo oprogramowanie, a zmieniła się jedna rzecz.
Cztery rzeczy, które mieszczą się w tej samej pamięci
W momencie, w którym model odpowiada, w pamięci leżą równocześnie cztery rzeczy. Tylko pierwsza z nich jest widoczna na stronie, z której pobierasz model.
Plik, notatnik, system, okno grafiki
- Plik modelu. Od około 4 GB do 21 GB w tym, co trzymam u siebie (pomiar z września 2026).
- Notatnik rozmowy. Rośnie z każdą turą; przy modelu średniej wielkości okno 128 tys. tokenów to u mnie około 4 GB (pomiar, październik 2026).
- System i usługi. 400 MB na Ubuntu Server w spoczynku (pomiar opublikowany), 4-6 GB na Windowsie, 4-8 GB przy Dockerze, bramie API i bazie wektorowej (szacunek).
- Okno pamięci zintegrowanej grafiki. U mnie około 19 GB wyciętych z pamięci systemowej (odczyt, październik 2026).
Wzór, którego używam przed zakupem
Nie potrzeba tu arkusza. Wystarczy dodać trzy składniki i sprawdzić, co zostaje.
Przykład na liczbach
rozmiar pliku modelu + 1 GB na każde 32 tys. tokenów kontekstu + 4-6 GB na system i aplikacje
Dla modelu 21 GB z oknem 64 tys. tokenów na Windowsie wychodzi: 21 GB + 2 GB + 4-6 GB, czyli 27-29 GB (rachunek, nie pomiar). Na maszynie z 32 GB zostaje 3-5 GB na wszystko inne: przeglądarkę, kontener, aktualizację w tle. Dlatego taka konfiguracja działa w teście i zawodzi w pracy. Na czystym Ubuntu Server ten sam rachunek to 21 GB + 2 GB + 0,4 GB i zapas jest realny; system operacyjny bywa tu większą pozycją niż kontekst. Ten sam rachunek na własnych liczbach, czyli rozmiarze pliku, oknie kontekstu i systemie, policzy kalkulator RAM do lokalnego AI.
Trzy poziomy pamięci i co z nich wynika
Z tego rachunku wychodzą trzy progi. Liczby w tabeli to rachunek na podstawie moich rozmiarów modeli i mojej podłogi systemowej, nie wynik benchmarku.
Co zmieścisz, a czego nie
| Pamięć | Największy sensowny model | Realne okno kontekstu | Zapas |
|---|---|---|---|
| 16 GB | klasa 8-9 mld, plik 4-5,4 GB | 16-32 tys. tokenów | brak, przeglądarka w tle wypycha dane na dysk |
| 32 GB | plik do około 21 GB, ale ciasno | 16 tys. tokenów na dużym modelu, 32 tys. na mniejszym | minimalny, usługi w tle trzeba pilnować |
| 64 GB | plik 21 GB bez kompromisu | 64-128 tys. tokenów | brama API, baza i kontenery bez limitowania |
Dwie rzeczy, które warto przeczytać z tej tabeli dosłownie. Model 11 GB, u mnie gpt-oss-20b, na 16 GB mieści się razem z systemem na Linuksie, a na Windowsie już nie, więc o progu decyduje system, nie sama waga pliku. I druga: 32 GB nie jest „za małe”, jest ciasne. Różnicę między tymi dwoma progami rozpisałem w tekście o tym, czy do lokalnego AI wybrać 16 czy 32 GB.
Co zrobić przed zakupem kolejnej kości
Pamięć jest tanim zakupem, ale nie każdy problem da się nią rozwiązać. Jeśli przeszkadza liczba tokenów na sekundę, a nie długość rozmowy, kolejne moduły nic nie dadzą, a to różnica, która kosztuje najwięcej niepotrzebnych zakupów.
Najpierw ustawienia, potem sklep
- Warto włączyć cache prefiksu, żeby ten sam prompt systemowy nie był czytany od nowa przy każdej turze.
- Warto sprawdzić kwantyzację notatnika: przy 8 lub 4 bitach zajmuje do połowy mniej, co przekłada się na dłuższy kontekst w tej samej pamięci. Jak kwantyzacja działa na samych wagach, pokazałem w tekście o tym, ile bitów przypada na wagę modelu.
- Warto zmierzyć dekodowanie spekulacyjne. U mnie podniosło model 9B z 14 do 28 tokenów na sekundę (pomiar, październik 2026) i nie kosztowało złotówki.
- Dopiero potem należy dobrać pamięć pod wzór powyżej, z zapasem na jeden poziom kontekstu wyżej od planowanego.
Cztery rzeczy poza rachunkiem
Nie obejmuje okna pamięci zintegrowanej grafiki. To osobne ograniczenie firmware i u mnie rozbudowa z 32 na 64 GB nie zmieniła go ani o gigabajt.
Nie obejmuje pracy wsadowej ani dwóch modeli równocześnie, ponieważ jeden wątek użytkownika to inny rachunek niż kilka kolejek naraz. Nie obejmuje modelu do wektorów, jeśli trzymasz go obok głównego, ani czasu czytania promptu, którego nie mam zmierzonego w żadnym benchmarku. I nie zastępuje własnego pomiaru: podane rozmiary plików są z mojej maszyny i mojej kwantyzacji, a przy innym wariancie ten sam model potrafi zająć kilka gigabajtów więcej. Jak postawić całość i zobaczyć te liczby u siebie, opisałem w tekście o tym, jak uruchomić lokalny model na llama.cpp i LiteLLM.
