Kwantyzacja: dlaczego lokalnie nie masz pełnego modelu
Model 27B w pliku 16 GB to 4,7 bita na wagę. Jak to policzyć z dwóch liczb, pięć wyjątków w tabeli 23 modeli i czego ta metoda nie powie.
SzczegółyOsiem baz danych, jedna droga dostępu
Dlaczego osiem oddzielnych baz, a nie jedna z ośmioma schematami, i jedna reguła, która trzyma to w całości. Z ceną, którą ten podział kosztuje.
SzczegółyNie wiem, ile czasu oszczędza mój system
Cztery próby zmierzenia oszczędzonego czasu, limit 10 minut na zadanie i brak punktu odniesienia. Dlaczego nie mam tej liczby i co zmieniłem.
SzczegółyPo ilu miesiącach zwraca się własny serwer AI?
Przy abonamencie 20 EUR miesięcznie maszyna za 900 EUR zwraca się po 53 miesiącach. Pełny rachunek: cena sprzętu, zmierzony pobór mocy i co pomija.
SzczegółyAutonomia projektu: miesiąc, w którym system przestał pytać
Jak system awansuje pojedyncze decyzje na podstawie zaufania, gdzie wyznaczyłem granice i dlaczego zabezpieczenie w tej samej maszynie nie chroni.
Szczegóły10 automatyzacji, które faktycznie działają (i te, które wycofałem)
Dziesięć automatyzacji, które zostały na stałe, i pięć, które wyłączyłem. Filtry decydujące, czy automatyzacja zostaje, i realne awarie z homelabu.
SzczegółyMój cyfrowy bliźniak (Digital Twin): dlaczego to nie jest agent AI
n8n jako mózg, Python jako ciało, 8 baz jako pamięć. Dlaczego cyfrowy bliźniak działa lepiej bez modelu językowego i gdzie model wciąż jest potrzebny.
SzczegółyOd automatyzacji do autonomii: 5 poziomów
Pięć poziomów automatyzacji własnego życia, trzy realne awarie i próg, po którym system przestaje pytać. Dlaczego czwarty poziom jest najważniejszy.
SzczegółyCzego lokalne AI nie zrobi?
Sufit 45,7 tokena na sekundę, największy uruchomiony plik 22,8 GB, jeden model naraz. Zmierzone granice domowego AI.
SzczegółyJak uruchomić lokalny model AI na Ubuntu Server
Trzy warstwy, które naprawdę trzeba postawić: Ubuntu Server bez pulpitu, llama.cpp jako silnik i LiteLLM jako brama API.
Szczegóły