Личный кабинет
На сайт
← База знаний

Локальная языковая модель на VPS через Ollama

Ollama загружает языковые модели и предоставляет локальный API. VPS без GPU подходит для обучения, небольших текстовых экспериментов и прототипов. Успешный запуск сервиса не означает быструю работу крупной модели. Qwen2.5 0.5B ниже — небольшой воспроизводимый тест, а не универсально лучшая модель.

Среда: Ubuntu Server 24.04 LTS, x86-64, SSH и учётная запись с sudo. Проверено по документации 15 ноября 2026 года. Команды не проходили сквозное испытание на Ubuntu.

Что подготовить

Для оценки начните примерно с 2 vCPU, 4 ГБ RAM и 10 ГБ свободного диска. Веса, кэш контекста и параллельные запросы расходуют память отдельно. Проверьте лицензию, качество нужного языка и RAM выбранной модели; крупным моделям часто нужно значительно больше памяти или GPU.

Приведённые ресурсы — ориентир для небольшого теста, а не гарантия производительности или описание тарифов. VPS/VDS не означает наличие GPU. Проверьте память, диск и доступные ресурсы перед заказом.

На чистой Ubuntu установите пакеты ниже. Если Docker уже установлен из другого репозитория, сохраните текущую установку и сначала проверьте совместимость: не смешивайте пакеты Docker CE и docker.io. Нужен Compose v2; при отсутствии пакета проверьте включение репозитория Ubuntu Universe.

sudo apt update
sudo apt install -y docker.io docker-compose-v2 curl openssl
sudo systemctl enable --now docker
sudo docker compose version

Все примеры публикуют порты только на 127.0.0.1 сервера. Для доступа с компьютера используйте SSH-туннель; домен для этого не нужен. Не открывайте эти порты в интернете. Внутренний адрес 0.0.0.0 в контейнере не отменяет привязку опубликованного порта к loopback хоста.

Каждый проект ниже — новая установка. Не повторяйте генерацию секретов поверх уже работающего экземпляра.

1. Опишите сервис моделей

Создайте проект и сохраните compose.yaml. Модели сохраняются в постоянном томе. GPU не запрашивается: это пример работы на CPU.

umask 077
mkdir -p ~/ai-ollama
cd ~/ai-ollama
services:
  ollama:
    image: ollama/ollama:latest
    restart: unless-stopped
    ports:
      - "127.0.0.1:11434:11434"
    environment:
      OLLAMA_NUM_PARALLEL: "1"
      OLLAMA_CONTEXT_LENGTH: "2048"
    volumes:
      - models:/root/.ollama
volumes:
  models:

2. Загрузите небольшую модель и отправьте запрос

Загрузка образа не загружает модель. Выполните команды на VPS; при первом запросе потребуется время на загрузку весов в память. В успешном JSON-ответе есть message и done: true.

sudo docker compose up -d
sudo docker compose exec ollama ollama pull qwen2.5:0.5b
curl --fail-with-body --max-time 180 http://127.0.0.1:11434/api/chat   -H 'Content-Type: application/json'   -d '{"model":"qwen2.5:0.5b","messages":[{"role":"user","content":"Explain what a VPS is in two sentences."}],"stream":false,"options":{"num_ctx":2048,"num_predict":100}}'
sudo docker compose exec ollama ollama ps

3. Доступ с вашего компьютера

Для приложения на ноутбуке создайте SSH-туннель и укажите http://127.0.0.1:11434. Локальный API Ollama не заменяет публичный шлюз с авторизацией. Вход в веб-интерфейс не защищает отдельно открытый порт модели.

ssh -N -L 127.0.0.1:11434:127.0.0.1:11434 YOUR_USER@YOUR_SERVER_IP

4. Проверьте нагрузку перед расширением

Во время запроса выполните sudo docker stats --no-stream. Если контейнер завершается, проверьте события нехватки памяти, уменьшите модель и контекст или добавьте RAM. Swap не заменяет достаточную память. Начните с одного запроса за раз. Загруженная локальная модель выполняется на сервере; облачные модели и внешние интеграции меняют место обработки запросов. Сохраняйте точные имена и digest моделей и собственные Modelfile.

Обновления и восстановление

Перед обновлением остановите приложение на время согласованного резервного копирования, сохраните данные и секреты за пределами VPS и проверьте восстановление на отдельном экземпляре. Изменяемые теги образов в примерах нужны для первоначальной оценки; перед постоянной эксплуатацией зафиксируйте проверенный тег выпуска или digest. Запишите текущий digest командой sudo docker image inspect ИМЯ_ОБРАЗА --format '{{json .RepoDigests}}'. Не запускайте автоматические обновления без проверки совместимости и не удаляйте тома командой down -v.

Если приложение не запускается, проверьте sudo docker compose ps, последние журналы, свободное место и память. Не публикуйте журналы с ключами, содержимым запросов или персональными данными. При ошибке доступа к каталогу проверьте UID/GID и владельца, а не назначайте права 777. Для совместного доступа сначала настройте HTTPS, аутентификацию и ограничения запросов.

Другие сценарии