Kategoria: Lokalne AI
Nazwałem 32 GB złotym środkiem, wybierając między 16 a 32 GB, i była to odpowiedź z pięciominutowego testu, nie z pracy. Po kilku miesiącach codziennej pracy na tej samej maszynie dołożyłem pamięci do 64 GB.
Wszystkie liczby poniżej pochodzą z jednej maszyny: AMD Ryzen AI 9 HX 470, 24 rdzenie, zintegrowana grafika Radeon 890M, dysk NVMe 1 TB. Prędkości generowania to seria pomiarów z września 2026. Obserwacje po rozbudowie pamięci pochodzą z października 2026, kiedy te same 32 GB zamieniłem na dwa moduły SODIMM po 32 GB, czyli 64 GB. Ten sam system, te same modele, to samo oprogramowanie, a zmieniła się jedna rzecz.
Przez przypadek wyszedł z tego czysty eksperyment: jedna maszyna, dwa stany pamięci, to samo obciążenie. Poniżej jest to, co się zmieniło, i to, czego rozbudowa nie zmieniła ani o procent.
Cztery rzeczy, które muszą się zmieścić w tej samej pamięci
Najczęstszy sposób dobierania pamięci wygląda tak: patrzę, ile waży plik modelu, i kupuję kość, w której ta liczba się mieści. Plik 21 GB, więc 32 GB pamięci i gotowe. To liczy tylko jedną z czterech rzeczy, które muszą leżeć na tym samym stole w momencie, gdy model odpowiada. Te składniki wpisuje się po kolei w kalkulatorze RAM do lokalnego AI, który dodaje je do siebie i sprawdza okno grafiki osobno.
Rozmiar pliku to tylko wpisowe
- Plik modelu. U mnie od około 4 GB (granite-4.2-8b) przez 5,4 GB (Qwen3.8-9B) i 11 GB (gpt-oss-20b) do 21 GB (Qwen3.6-35B-A3B). To rozmiary na dysku, pomiar z września 2026. Jeśli plik się nie mieści, model nie wstanie w ogóle. To jedyny z czterech kosztów, który jest stały.
- Notatnik, czyli pamięć rozmowy. Model trzyma w pamięci całą dotychczasową wymianę i rośnie to z każdą turą. Przy modelu średniej wielkości okno 128 tys. tokenów zajmuje u mnie około 4 GB ponad wagę modelu (pomiar, październik 2026).
- System i usługi w tle. Ubuntu Server w spoczynku to około 400 MB (pomiar opublikowany), Windows zabiera 4-6 GB, zanim otworzysz przeglądarkę. Dołóż Dockera, bramę API, bazę wektorową i automatykę domową, a realna podłoga to 4-8 GB (szacunek z mojej konfiguracji).
- Okno pamięci dla zintegrowanej grafiki. Mini PC nie ma osobnego VRAM-u, grafika pożycza pamięć systemową. U mnie firmware wystawia na to okno około 19 GB (odczyt, październik 2026).
Co wymuszało 32 GB
32 GB działa. Problem polega na tym, że działa za cenę kompromisu, którego nie widać w teście, a widać po dwóch tygodniach. Duże modele w okolicach 21 GB mieściły się w pamięci, ale notatnik dostawał resztki: żeby maszyna nie zaczęła zapisywać na dysk wymiany, ustawiałem na nich limit kontekstu 16 tys. tokenów.
Mózg 35 miliardów parametrów z pamięcią złotej rybki
To jest ta część, którą trudno wybaczyć sprzętowi: uruchamiasz model o 35 miliardach parametrów i dajesz mu pamięć roboczą krótszą niż jeden dłuższy dokument. Drugi koszt był operacyjny. Brama API obok kontenerów automatyki domowej stawiała maszynę na krawędzi: przy wyczerpaniu pamięci system wchodził w intensywny zapis na dysk, więc dopisałem demona, który restartował zawieszone procesy modelu. Przy próbach pełnego przeniesienia dużych wag na grafikę zdarzało się zablokować sterownik tak, że pomagał tylko twardy restart.
Co zmieniło 64 GB
Po wymianie modułów zmieniła się nie prędkość, a sposób pracy z maszyną.
Przełączanie modeli przestało boleć
| Co | 32 GB | 64 GB |
|---|---|---|
| Zapis na dysk wymiany | pojawiał się przy długich rozmowach i pracy wsadowej | zero w całej serii pomiarów |
| Okno kontekstu na dużym modelu | 16 tys. tokenów (limit ustawiony ręcznie) | 64-128 tys. tokenów, w części konfiguracji 256 tys. |
| Przełączenie modelu | 45 s zimnego startu | prawie natychmiast, dopóki wagi leżą w cache stron |
| Prędkość generowania | punkt odniesienia | różnica poniżej 1% |
| Usługi w tle | brama API i kontenery na krawędzi pamięci | chodzą bez limitowania |
Wszystkie pięć wierszy to obserwacje z tej samej maszyny, październik 2026, a nie wartości z dokumentacji. Zimny start 45 s mieści się w przedziale 30-60 s, który podawałem wcześniej dla trybu z jednym modelem w pamięci; na 64 GB po prostu rzadziej do niego wracam, bo Linux trzyma wagi w nieużywanej pamięci.
Czego 64 GB nie zmieniło
Nie zmieniło liczby tokenów na sekundę. W tych samych testach generowanie mieściło się w granicy 1% względem konfiguracji 32 GB, co przy tej metodzie pomiaru oznacza brak różnicy.
Tokeny nie przyspieszyły
Dodatkowa pamięć nie sprawia, że tokeny lecą szybciej. Decyduje o tym, które modele w ogóle wstaną, ile rozmowy zapamiętają i czy system wytrzyma obciążenie.
Jest jeden wyjątek i jest ważny: pamięć broni prędkości, którą już masz. Kiedy brakuje jej na tyle, że dane lecą na dysk wymiany, generowanie spada o rząd wielkości lub więcej (szacunek), a to nie jest kwestia kilku procent. Rozbudowa nie przyspiesza, ale usuwa scenariusz, w którym maszyna zwalnia dramatycznie bez ostrzeżenia.
Co naprawdę decyduje o prędkości
Jeśli pamięć nie przyspiesza generowania, to co? Na mojej maszynie liczą się trzy rzeczy, w tej kolejności.
Architektura, nie pojemność
- Architektura modelu. Qwen3.6-35B-A3B to model z mieszanką ekspertów: 35 miliardów parametrów na dysku, około 3 miliardy aktywne na token, 21 GB pliku i 30,4 tokena na sekundę. Gęsty Qwen3.8-27B, z tej samej rodziny Qwen i z tego samego poziomu kwantyzacji, zajmuje 16 GB i daje 7,6 tokena na sekundę (pomiary z września 2026). Czterokrotna różnica prędkości przy pliku większym o 5 GB. Dlaczego tak jest, rozpisałem w tekście o tym, dlaczego model 30B bywa szybszy od mniejszego 12B. Ostrożnie z generalizacją: wśród sześciu modeli, które mam, z „35B” w nazwie, dwa dają tylko 16,3 i 17,86 tokena na sekundę (pomiar z września 2026), więc nazwa nie wystarcza i trzeba sprawdzić liczbę parametrów aktywnych na token.
- Przeniesienie warstw na grafikę. Dopóki model mieści się w oknie pamięci zintegrowanej grafiki, przeniesienie warstw przyspiesza odpowiedź około 3-6 razy (pomiar z mojej maszyny). Po przekroczeniu okna reszta liczy się na magistrali pamięci i zysk znika, a samo okno rozbudowa pamięci zostawiła nietknięte.
- Ustawienia silnika. Dekodowanie spekulacyjne podwoiło u mnie wynik modelu 9B z 14 do 28 tokenów na sekundę przy tej samej jakości odpowiedzi (pomiar, październik 2026). Kwantyzacja notatnika skraca jego zajętość nawet o połowę, a cache prefiksu pozwala pominąć ponowne czytanie tego samego promptu. Zebrałem te sposoby osobno w tekście o tym, jak przyspieszyć lokalny model bez zmiany sprzętu.
Okno grafiki, równoległość i prąd
Okno pamięci dla zintegrowanej grafiki zostało takie samo, czyli około 19 GB przed rozbudową i po niej. To ustawienie firmware, nie procent zainstalowanej pamięci, więc podwojenie RAM-u nie podwaja tego, co zmieścisz na grafice.
Więcej pamięci samo z siebie nie daje też równoległej pracy dwóch modeli. Zmieszczą się oba, ale moc obliczeniowa zostaje jedna, więc kolejki obsługują się po kolei.
I ostatnie zastrzeżenie, z gatunku tych, które łatwo przeoczyć: nie zmierzyłem, ile dodatkowa pamięć kosztuje w prądzie. Zużycie całej maszyny opisywałem osobno w tekście ile prądu zużywa domowy serwer AI, a te liczby pochodzą z pomiarów przed rozbudową. Czasu czytania promptu też nie mam w żadnym benchmarku; wszystkie prędkości powyżej to generowanie, nie wczytywanie.
