Ollama загружает языковые модели и предоставляет локальный API. VPS без GPU подходит для обучения, небольших текстовых экспериментов и прототипов. Успешный запуск сервиса не означает быструю работу крупной модели. Qwen2.5 0.5B ниже — небольшой воспроизводимый тест, а не универсально лучшая модель.
Среда: Ubuntu Server 24.04 LTS, x86-64, SSH и учётная запись с sudo. Проверено по документации 15 ноября 2026 года. Команды не проходили сквозное испытание на Ubuntu.
Что подготовить
Для оценки начните примерно с 2 vCPU, 4 ГБ RAM и 10 ГБ свободного диска. Веса, кэш контекста и параллельные запросы расходуют память отдельно. Проверьте лицензию, качество нужного языка и RAM выбранной модели; крупным моделям часто нужно значительно больше памяти или GPU.
Приведённые ресурсы — ориентир для небольшого теста, а не гарантия производительности или описание тарифов. VPS/VDS не означает наличие GPU. Проверьте память, диск и доступные ресурсы перед заказом.
На чистой Ubuntu установите пакеты ниже. Если Docker уже установлен из другого репозитория, сохраните текущую установку и сначала проверьте совместимость: не смешивайте пакеты Docker CE и docker.io. Нужен Compose v2; при отсутствии пакета проверьте включение репозитория Ubuntu Universe.
sudo apt update
sudo apt install -y docker.io docker-compose-v2 curl openssl
sudo systemctl enable --now docker
sudo docker compose version
Все примеры публикуют порты только на 127.0.0.1 сервера. Для доступа с компьютера используйте SSH-туннель; домен для этого не нужен. Не открывайте эти порты в интернете. Внутренний адрес 0.0.0.0 в контейнере не отменяет привязку опубликованного порта к loopback хоста.
Каждый проект ниже — новая установка. Не повторяйте генерацию секретов поверх уже работающего экземпляра.
1. Опишите сервис моделей
Создайте проект и сохраните compose.yaml. Модели сохраняются в постоянном томе. GPU не запрашивается: это пример работы на CPU.
umask 077
mkdir -p ~/ai-ollama
cd ~/ai-ollama
services:
ollama:
image: ollama/ollama:latest
restart: unless-stopped
ports:
- "127.0.0.1:11434:11434"
environment:
OLLAMA_NUM_PARALLEL: "1"
OLLAMA_CONTEXT_LENGTH: "2048"
volumes:
- models:/root/.ollama
volumes:
models:
2. Загрузите небольшую модель и отправьте запрос
Загрузка образа не загружает модель. Выполните команды на VPS; при первом запросе потребуется время на загрузку весов в память. В успешном JSON-ответе есть message и done: true.
sudo docker compose up -d
sudo docker compose exec ollama ollama pull qwen2.5:0.5b
curl --fail-with-body --max-time 180 http://127.0.0.1:11434/api/chat -H 'Content-Type: application/json' -d '{"model":"qwen2.5:0.5b","messages":[{"role":"user","content":"Explain what a VPS is in two sentences."}],"stream":false,"options":{"num_ctx":2048,"num_predict":100}}'
sudo docker compose exec ollama ollama ps
3. Доступ с вашего компьютера
Для приложения на ноутбуке создайте SSH-туннель и укажите http://127.0.0.1:11434. Локальный API Ollama не заменяет публичный шлюз с авторизацией. Вход в веб-интерфейс не защищает отдельно открытый порт модели.
ssh -N -L 127.0.0.1:11434:127.0.0.1:11434 YOUR_USER@YOUR_SERVER_IP
4. Проверьте нагрузку перед расширением
Во время запроса выполните sudo docker stats --no-stream. Если контейнер завершается, проверьте события нехватки памяти, уменьшите модель и контекст или добавьте RAM. Swap не заменяет достаточную память. Начните с одного запроса за раз. Загруженная локальная модель выполняется на сервере; облачные модели и внешние интеграции меняют место обработки запросов. Сохраняйте точные имена и digest моделей и собственные Modelfile.
Обновления и восстановление
Перед обновлением остановите приложение на время согласованного резервного копирования, сохраните данные и секреты за пределами VPS и проверьте восстановление на отдельном экземпляре. Изменяемые теги образов в примерах нужны для первоначальной оценки; перед постоянной эксплуатацией зафиксируйте проверенный тег выпуска или digest. Запишите текущий digest командой sudo docker image inspect ИМЯ_ОБРАЗА --format '{{json .RepoDigests}}'. Не запускайте автоматические обновления без проверки совместимости и не удаляйте тома командой down -v.
Если приложение не запускается, проверьте sudo docker compose ps, последние журналы, свободное место и память. Не публикуйте журналы с ключами, содержимым запросов или персональными данными. При ошибке доступа к каталогу проверьте UID/GID и владельца, а не назначайте права 777. Для совместного доступа сначала настройте HTTPS, аутентификацию и ограничения запросов.