VITON13School
Курс по ИИ

Приватный чат как ChatGPT на вашем ноутбуке: открытые модели

Приватный локальный чат запускает открытую языковую модель на вашем компьютере. Ollama скачивает и запускает модель, а Open WebUI даёт привычное окно чата в браузере. Запросы не покидают машину, а после загрузки модель работает без интернета, но качество и скорость обычно ниже, чем у облачных моделей.

Автор: , основатель VITON13 SCHOOL
Седьмая миссия курса VITON13 SCHOOL: приватный ChatGPT на вашем ноутбуке

Кое-что вы не стали бы вставлять на публичный сайт: черновик договора, заметки со встречи, сырую идею. Локальная модель даёт место для таких вещей. Разберём, зачем это нужно, что должно потянуть железо и какие шаги даёт миссия 7 курса.

Главные идеи

  • Локальная модель оставляет запросы на вашей машине и работает без сети после загрузки.
  • Цена — качество и скорость: модель обычно меньше облачной.
  • Всё делают два инструмента: Ollama запускает модель, Open WebUI даёт окно чата.
  • Локально не значит беспечно: пароли, ключи и секреты клиентов не вставляйте и сюда.

Зачем запускать модель у себя

Две причины. Приватность: ваши запросы не уходят на чужой сервер. Независимость: после первой загрузки модель работает без соединения. Обе важны, когда вы работаете с черновиками, заметками или тем, что не стали бы вставлять на публичный сайт.

Компромисс честный. Локальная модель обычно меньше облачной, а потолок задаёт ваше железо. Разумно держать оба варианта: локальную для приватных черновиков и заметок, облачную, когда нужен самый сильный ответ.

[1]

Что потянет ваш компьютер

Модель должна поместиться в память, чтобы работать с приемлемой скоростью. Это память видеокарты, если у вас дискретная карта, или общая память на ноутбуке с чипом Apple. Модели поменьше и сжатые (квантованные) версии помещаются легче, но теряют в качестве.

Перед загрузкой узнайте размер модели у любого локального запускателя: файлы большие, и неверный выбор съест вечер. Начните с малой модели и переходите на большую, только если ответов не хватает: быстрая маленькая модель, которой вы пользуетесь каждый день, лучше большой, которую вы избегаете. Что бы ни советовал помощник, первую его рекомендацию десять минут проверьте на настоящей работе.

Шаги: сначала Ollama, потом Open WebUI

На macOS или Linux установите Ollama командой curl -fsSL https://ollama.com/install.sh | sh (для Windows в README есть строка для PowerShell). Затем запустите модель: ollama run gemma4. Первый запуск скачивает её; выйти можно командой /bye. Задайте вопрос о своей работе без секретов и заметьте скорость и качество.

Для окна чата установите Open WebUI командой pip install open-webui (по этому пути README требует Python 3.12), запустите open-webui serve и откройте http://localhost:8080 в браузере. Создайте первый аккаунт, он остаётся на вашей машине, выберите скачанную модель и отправьте тестовое сообщение. Части соединяются цепочкой: браузер, Open WebUI, Ollama, локальная модель.

Сделайте её своей и знайте пределы

У локальной модели по умолчанию нет памяти о вас и нет интернета, поэтому напишите системный промпт: ваша роль, формат и правила честности: говорить «я не уверен», не выдумывать источники и не делать вид, что она искала в сети. На малой модели эти правила важнее вдвойне, иначе она будет отвечать на всё с уверенностью.

Локально не значит «можно всё». Пароли, ключи, имена клиентов и личные документы не вставляйте ни в один инструмент, включая этот. Миссия 7, «Приватный ChatGPT на вашем ноутбуке», собирает всё по шагам и заканчивается приватным чатом, работающим на вашей машине.

[2][3]

Простыми словами

Облачный чат — ресторан: чужая кухня, и ваш заказ едет туда. Локальная модель — готовка дома. Меню скромнее, плита медленнее, зато из вашей кухни ничего не уходит.

Попробуйте сами

Установите Ollama, запустите ollama run gemma4 и задайте один вопрос о своей работе без секретов.

Ожидаемый результат

Модель отвечает прямо в терминале без интернета, и вы чувствуете её скорость и качество на своём железе.

Проверьте себя: Почему лучше начать с малой модели, а не с самой большой?

Потому что быстрая малая модель, которой пользуешься каждый день, лучше большой и медленной, а подняться выше можно всегда.

Вопросы и ответы

Локальная модель так же хороша, как ChatGPT или Claude?

Обычно нет. Она, как правило, меньше облачной, поэтому используйте её для черновиков, заметок и приватных материалов, а облачную, когда нужен самый сильный ответ.

Можно ли вставлять в локальную модель всё?

Пароли, ключи и секреты клиентов не вставляйте ни в один инструмент. Локально запросы остаются на машине, но хорошие привычки всё равно нужны.

Приватный чат на ноутбуке собирается за вечер. Миссия 7 курса «01 · Искусственный интеллект» в VITON13 SCHOOL показывает каждый шаг, а первые две миссии бесплатны, чтобы вы увидели формат до решения.

Источники и дальнейшее чтение

  1. VITON13 SCHOOL — Course 01: Artificial Intelligence ↗Источники проверены:
  2. Ollama on GitHub ↗Источники проверены:
  3. Open WebUI on GitHub ↗Источники проверены:
VITON13 SCHOOL / Курс по ИИ

Искусственный интеллект

Одновременно самый широкий и самый глубокий курс школы: как работать с искусственным интеллектом осознанно — от постановки задачи через prompting и проверку до автоматизации собственных процессов, AI-агентов и системы, которая принадлежит вам.

Посмотреть программу ↗