AI, що працює у нас вдома — коли потрібно, а коли ні

Це для тих, кому Big Tech підписки трохи муляють, але хто ще не впевнений: чи реально мати у себе вдома AI, який працює без хмари. Розкажу як це у мене зараз.

Дві ситуації, коли хмарний AI болить

Більшість днів — все ОК. Ми відкриваємо Claude чи ChatGPT, він допомагає, ми платимо $20/міс і не задумуємось. Все працює.

Але є дві ситуації, коли стає прикро:

Перша — без інтернету. Літак, поїзд, дача, відключення світла, “переходимо на резервний 4G з 1 ГБ на місяць”. У ці моменти наш найкорисніший помічник — мовчить. Хоча у нас на ноуті всі файли і вся пам’ять, що йому потрібна.

Друга — чутливі дані. Документи клієнтів. Контракти, що ще не підписані. Особиста переписка з лікарем. Фінансові цифри компанії. Все це ми, чесно кажучи, трохи побоюємось кидати у Claude чи ChatGPT, навіть якщо умови сервісу нас “запевняють”.

Розберемось: що з цим робить домашня лабораторія, а що — ні.

Що вже працює у мене вдома

Розкажу про конкретну річ, яка у мене працює щодня, і яка не вимагає локального LLM. Це найважливіше, бо багато людей думають “локальний AI = треба купувати GPU за $2000”. Це не так.

На моєму домашньому сервері (тій самій маленькій коробці з попередніх постів) живе Claude Code через web-інтерфейс. Це той самий Claude, з яким я працюю на ноуті — але доступ до нього через браузер з будь-якого мого пристрою.

Як це працює:

На сервері запущений web-інтерфейс, який підключається до моєї підписки Claude
Через приватну мережу (Tailscale, з попереднього посту) я з телефону відкриваю адресу типу home-box:8444
Бачу повноцінний AI-чат у браузері на телефоні
AI має доступ до всіх моїх файлів на сервері — нотатки, документи, проєкти
Памʼять, налаштування, історія — все тут же, на моєму сервері

Це не локальний LLM. Це локальний контроль доступу до хмарного LLM. Сам Claude (модель) — у датацентрі Anthropic. Але доступ до нього, контекст, файли — у моїй мережі, на моєму сервері.

Ціна цього окремо: $0. Це включено у звичайну підписку Claude, яку я і так маю. Жодної додаткової плати — ні за сервер, ні за сервіс, ні за хостинг.

Це 80% того, що нам треба від “AI у домашній лабораторії”.

Чому це вже багато

Може здатися, що це “халтура” — “ну це ж все одно хмарний AI”. Розберемось, що ми реально отримуємо:

1. Доступ з будь-якого пристрою сімʼї. Не треба купувати $20/міс підписку на кожного. У мене одна підписка, доступ з ноута, телефону, iPad дружини. Через нашу приватну мережу.

2. Файли AI не йдуть нікуди. Коли я працюю у браузері на телефоні, AI читає файли з моєї коробки. Так, він передає їх у Claude API для відповіді — але тільки те, що я свідомо віддав цьому чату, не всю папку. І нічого не “запамʼятовується” у AI на стороні Anthropic — все локальне.

3. Пам’ять і контекст — наші. AI знає про мої проекти, моїх клієнтів, мою сім’ю — не тому що “Anthropic запамʼятав”, а тому що ця памʼять зберігається у файлі на моїй коробці і підвантажується у кожний чат.

4. Працює навіть коли я не за столом. З телефону, з планшета, з ноута гостьового — однаково. Бо це браузер, відкритий до моєї коробки.

Це не вирішує проблему “немає інтернету”. Це не вирішує проблему “не хочу, щоб промт йшов у Anthropic”. Але це вирішує проблему “хочу один контрольований доступ до AI з усіх моїх пристроїв”. І для більшості з нас цього досить.

Куди йду далі — повністю локальний LLM

Тепер про те, що я ще не випробував повноцінно, але куди рухаюсь.

Існують локальні LLM — це ті ж мовні моделі (як Claude чи ChatGPT), але живуть повністю на нашому сервері. Не передають у датацентр нічого. Безкоштовні у плані ліцензії (точніше платимо лише за електрику + час налаштування).

Назви, які почуєте: Ollama (програма для запуску), Llama 3 і Qwen (самі моделі). Все безкоштовне, відкрите, ставиться у Docker одною командою.

Що чесно треба знати про малі/приватні моделі

Вони не замінюють сучасні моделі (Claude, GPT останньої версії). Це треба прийняти. Складні завдання — глибокий аналіз, написання великого тексту, нюансовані рішення — Claude станом на 2026 робить помітно краще.

АЛЕ вони постійно поліпшуються. Те, що ще пів року тому могла тільки Claude — сьогодні нормально робить Llama чи Qwen. Розрив скорочується щомісяця.

І вони чудово справляються з рутинними задачами, якщо ми детально описуємо те, що хочемо. Категоризувати email, витягнути дані з PDF, перевести текст з мови на мову, скласти summary документа — на це малі моделі цілком вистачає.

Як я роблю зараз: важливі / складні речі — через Claude останньої версії (свіжа підписка), рутинні задачі — попередніми моделями або через Ollama безкоштовно. Це economy + privacy одночасно. Великі питання — у “дорогого”, дрібні фонові — у “вільного”.

Що це нам дає у щоденному житті

Працює офлайн. Літак, дача, лісовий будинок — AI з нами
Жоден байт нікуди не йде. Сам собі датацентр
Без обмежень підписки. Скільки запитів, стільки і робимо
Експерименти безпечні. Чутливі речі — без жодного ризику витоку

Що це не дає (бути чесними)

Якість на серйозних задачах гірша від найкращої хмарної моделі (станом на 2026). Рік-два — і зрівняються, але зараз — ні
Швидкість залежить від сервера. На звичайному міні-ПК — ОК для коротких запитів і рутини, для довгого коду чи аналізу великої бази даних — терпіння
Серйозне використання потребує апгрейду заліза. Звичайний міні-ПК не потягне Llama 3 70B. Треба або GPU за $500-1500, або новіший CPU з багатою памʼяттю

Скільки це реально коштує

“Безкоштовна модель” — це формально. Насправді ми платимо:

Електрика (~$3-7/міс додатково, якщо сервер тримає завантаження)
Час налаштування (1-2 вечори зробити робочу інсталяцію)
Залізо ($300-1500 на додаткову памʼять/GPU, якщо вже наявне не тягне)
Качество (поступаємось 1-2 крокам найкращим хмарним моделям)

Чи це виправдано? Залежить від задач.

Якщо працюємо з людьми де безпека на першому місці (юристи, лікарі, фінансисти, журналісти з джерелами) — так, дуже практичний кейс. Те, чого не можна показати у Claude, виконує локальний LLM. Inversion вартості — інвестиція в безпеку.
Якщо ми пишемо контент, ставимо запитання, обробляємо нотатки — поки що економніше і якісніше через хмарну підписку.
Якщо хочемо змішаний режим (як я зараз): рутинні задачі — локально / попередніми моделями, важливе — через Claude. Тоді локальне налаштування платить себе за пів року-рік.

Чому пишу “куди йду”, а не “як зробив”: я ще не випробовував повноцінно. Ставив у тестах, працює, але щоденно ще не використовую як основну. Як тільки повноцінно перейду — напишу окремий пост з реальними цифрами і конкретними сценаріями.

Як обрати — нам теж потрібен локальний LLM?

Питання-фільтри:

1. Чи у нас є дані, які реально не можна показувати в Claude/ChatGPT?

Якщо ми юрист з контрактами клієнтів, лікар з історіями хвороб, фінансист з конфіденційними цифрами — так, потрібен. Якщо ми пишемо листи, обробляємо нотатки, ставимо запитання — ні, не потрібен.

2. Чи ми часто без інтернету?

Якщо ми багато подорожуємо, працюємо з дачі, живемо у місці зі слабким звʼязком — так, корисно. Якщо ми переважно у місті з Wi-Fi — ні, рідкісний кейс.

3. Чи готові інвестувати у коробку?

Локальний LLM = додаткові $300-1500 на залізо (GPU або потужніший CPU). Якщо економія від відмови від підписок це покриває за рік — окупається. Якщо ні — краще лишити підписку.

4. Чи готові до того, що відповіді гірші?

Це найскладніше. Локальний LLM 2026 ≠ Claude 2026. Якість помітна. Якщо ми звикли до якості Claude — повертатись на Qwen болісно. Якщо ми готові — все ОК.

Моя власна відповідь: 1 — так (іноді), 2 — ні (рідко), 3 — поки що ні, 4 — готовий за специфічних задач. Тому я не поспішаю. Локальний LLM у мене буде, але другим інструментом, не основним.

Що буде далі

Тепер у нас є AI на сервері — у моєму випадку через хмарну підписку, але з повним локальним контролем. Це працює клавіатурою, з будь-якого пристрою, через приватну мережу.

У наступному пості розберемо ще одну функцію, яку дає домашній сервер: голос. Як говорити з нашим AI українською, без передачі голосу у Big Tech. У мене це працює, і це окрема історія.

Часті помилки

Думаємо, що “AI вдома” = “купити GPU за $2000”. Ні. Більшість того, що нам треба, працює через звичайну підписку + контроль доступу через домашній сервер
Хочемо одразу повністю локальний LLM, не випробувавши проміжний крок. Краще спочатку розгорнути доступ до Claude через сервер — і подивитись, чи нам цього досить. У 80% випадків — досить
Платимо за 3-4 окремі підписки (Claude, ChatGPT, Perplexity, Copilot), бо “у кожного свій акаунт у сімʼї”. Одна підписка через домашній сервер — кожен з родини отримує доступ, $0 додатково
Вірим у “повна приватність з хмарним AI”. Ні, не повна. Якщо нам точно потрібна повна — це локальний LLM. Якщо нам потрібен контрольований доступ і відсутність витоку всього підряд — це сервер + хмарний AI. Це різні речі, не плутаймо
Чекаємо, поки “локальний AI стане як Claude”. Може й стане, через рік-два. А поки що — будуємо те, що працює зараз: рутину віддаємо локальній моделі, важливе — Claude останньої версії, баланс безпеки і якості тримаємо самі