Серверы и VDS

Запустили программу на сервере, закрыли терминал, и она остановилась: nohup, tmux или служба systemd и что выбрать для бота, который должен работать всегда

Эдгар Косулин 8 мин чтения

Серия «Сервер в бою» · часть 17 из 17

Содержание

17 ноября в 10:53 по Москве у нас остановилась служебная программа, которой мы управляем через бота в Telegram. Ошибок не было. Последней строкой в её журнале стояло «Остановлен», как после обычной команды остановки, только такой команды никто не давал. Заметили мы это в 12:36, когда бот не ответил на запрос состояния.

Причина знакома каждому, кто запускал что-нибудь на сервере командой в терминале. Программу запустили из рабочей сессии и оставили в фоне, а оформить её службой собирались позже. Сессия перезапустилась и завершила всё, что в ней работало. У нас это была сессия инструмента разработки, а не SSH, но механизм тот же, что и при закрытом окне терминала.

Чаще всего на такой случай советуют три способа: nohup, tmux и службу systemd. Для бота, который должен работать постоянно, годится только последний. Ниже видно почему.

Почему программа останавливается вместе с терминалом

Программа, запущенная в терминале, принадлежит его сеансу. Когда сеанс заканчивается, командная оболочка получает сигнал SIGHUP (от hang up, «повесили трубку») и передаёт его программам, которые из неё запущены. Программа, которая не обрабатывает этот сигнал сама, по нему завершается. Сеанс заканчивается не только когда вы закрыли окно: оборвался Wi-Fi, уснул ноутбук, SSH-соединение разорвалось по таймауту.

Амперсанд в конце команды (python bot.py &) не спасает. Он возвращает вам командную строку, а программа остаётся в том же сеансе. Отсюда путаница: если выйти из bash командой exit, фоновая программа обычно продолжает работать, а если закрыть окно или потерять связь, завершается. Человек проверяет первым способом и успокаивается, а ночью рвётся связь.

Есть и второй слой. В системах с systemd за сеансами пользователей следит служба logind, и у неё есть настройка KillUserProcesses. Когда она включена, при выходе пользователя завершаются все его процессы, включая запущенные через nohup и tmux. В Debian и Ubuntu она по умолчанию выключена, на незнакомом сервере стоит проверить:

systemd-analyze cat-config systemd/logind.conf | grep KillUserProcesses

Строка с решёткой в начале показывает значение по умолчанию.

Отличить остановку вместе с сеансом от падения можно по трём признакам. В журнале программы нет ошибки: он обрывается или заканчивается обычной записью об остановке. Время остановки совпадает с концом вашего сеанса, его показывает last -n 5. Сервер при этом не перезагружался: uptime -s выводит время последней загрузки. Если журнал оборван на полуслове, а сеанс был открыт, проверьте ещё нехватку памяти: journalctl -k | grep -i "out of memory".

nohup: пережить закрытие терминала, и только

nohup python bot.py > bot.log 2>&1 &

nohup запускает программу так, что сигнал SIGHUP она игнорирует. Вывод, если его не перенаправить, пишется в файл nohup.out в текущей папке. Этого достаточно, чтобы закрыть терминал и уйти.

Остального nohup не делает:

  • упавшую программу не перезапускает;
  • после перезагрузки сервера её не запускает;
  • за журналом не следит: файл растёт, пока на диске есть место;
  • не помнит, что запущено. Через месяц процесс придётся искать через ps aux | grep bot, а останавливать командой kill.

Именно nohup стал нашей временной мерой 17 ноября: программу запустили заново, уже отдельно от сессии, и записали себе, что автозапуска у неё по-прежнему нет. На следующее утро, в 06:51, бот снова не отвечал. Что остановило программу во второй раз, мы к моменту публикации ещё не выяснили. У процесса под nohup нет никого, кто записал бы, когда и чем он закончился.

tmux: для долгой работы, за которой надо смотреть

tmux (как и более старый screen) держит на сервере свой сеанс терминала, который не привязан к вашему подключению:

tmux new -s import        # новый сеанс с именем import
# запускаете команду, она работает на экране
# Ctrl+b, затем d: отключиться и оставить всё работать
tmux ls                   # список сеансов
tmux attach -t import     # вернуться к тому же экрану

Связь оборвалась, а команда работает дальше, и после подключения вы видите её вывод с того же места. Так стоит запускать всё разовое, что идёт дольше нескольких минут и что нельзя оборвать на середине: импорт большой базы, перенос файлов, обновление системы.

Для бота tmux не лучше nohup. Упавшую программу он не перезапустит, а после перезагрузки сервера сеансов tmux не останется. Бот в tmux может проработать полгода, до первой перезагрузки после обновления ядра.

Служба systemd: то, что нужно боту

systemd на сервере уже есть: это он запускает nginx, базу данных и SSH и поднимает их после перезагрузки. Свою программу можно отдать ему же. Нужен один файл, /etc/systemd/system/mybot.service:

[Unit]
Description=My bot
After=network-online.target
Wants=network-online.target

[Service]
User=bot
WorkingDirectory=/opt/mybot
EnvironmentFile=/opt/mybot/.env
Environment=PYTHONUNBUFFERED=1
ExecStart=/opt/mybot/.venv/bin/python -m app.main
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

По строкам:

  • User=bot. Программа работает от отдельного пользователя, а не от root. Создаётся он командой useradd --system --shell /usr/sbin/nologin bot, папку проекта отдаёт ему chown -R bot: /opt/mybot.
  • WorkingDirectory и полный путь в ExecStart. Служба не читает .bashrc и ничего не знает о виртуальном окружении, которое вы включали в терминале, поэтому путь к интерпретатору указан целиком. Это та же болезнь «руками работает, а по расписанию нет», что у cron.
  • EnvironmentFile. Токены и пароли лежат в файле строками ИМЯ=значение, без слова export. Файлу нужны права 600.
  • PYTHONUNBUFFERED=1. Без этой переменной Python копит вывод в буфере: строки попадают в журнал с опозданием, а при падении могут не попасть совсем. Для Node.js она не нужна, там меняется только команда: ExecStart=/usr/bin/node server.js.
  • Restart=always и RestartSec=5. Чем бы ни закончилась программа, через 5 секунд systemd запустит её снова. Вариант on-failure перезапускает только после ошибки: если бот при потере связи завершается «чисто», с кодом 0, он так и останется выключенным. Команда systemctl stop перезапуска не вызывает.
  • WantedBy=multi-user.target. С этой строкой служба встаёт в автозапуск при загрузке сервера. Включает его команда enable.

Запускаем:

systemctl daemon-reload
systemctl enable --now mybot    # автозапуск и запуск сейчас
systemctl status mybot          # работает ли и с какого времени
journalctl -u mybot -f          # журнал в реальном времени

Вывод программы попадает в журнал systemd, который сам ограничивает свой размер. Как его читать, мы разбирали в статье «Логи, которые говорят».

Если прав root нет, службу можно завести от своего пользователя. Файл кладётся в ~/.config/systemd/user/, в нём нет строки User= и указано WantedBy=default.target, а команды пишутся как systemctl --user enable --now mybot. Но администратор должен один раз выполнить loginctl enable-linger <пользователь>. Без этого службы пользователя останавливаются, когда он выходит из системы, и вы возвращаетесь к тому, с чего начали.

Для Node.js инструкции часто советуют PM2, в том числе инструкции, которые пишут нейросети. Он работает, но чтобы пережить перезагрузку, ему нужна команда pm2 startup, а она создаёт ту же службу systemd. Клиенту, которому мы настраивали VDS под приложение на Node.js, мы сделали службу напрямую: одной прослойкой меньше. Если программа уже живёт в контейнере, ту же задачу решает restart: unless-stopped, про это есть в статье про Docker на VPS.

Что выбрать

nohup tmux служба systemd
Закрыли терминал, оборвалась связь работает работает работает
Программа упала остаётся выключенной остаётся выключенной перезапустится
Сервер перезагрузился не запустится не запустится запустится сама
Журнал файл без ограничения размера экран сеанса journalctl
Для чего разовая команда, когда нет tmux долгая разовая работа под присмотром всё, что должно работать постоянно

Проверьте службу сразу

Три проверки занимают пять минут, и делать их лучше в день настройки:

  1. Закройте терминал и зайдите снова. В выводе systemctl status mybot время в строке Active: active (running) since не должно измениться.
  2. Завершите процесс принудительно: systemctl kill -s KILL mybot. Через 5 секунд status покажет новый запуск.
  3. Перезагрузите сервер командой reboot, пока это ничего не стоит, и убедитесь, что бот поднялся сам. Команда systemctl is-enabled mybot должна отвечать enabled.

Ещё два свойства полезно знать заранее.

Если программа падает сразу при запуске, например из-за неверного токена, systemd по умолчанию сдаётся после пяти запусков за 10 секунд. С RestartSec=5 до этого предела не доходит, и служба будет пробовать каждые 5 секунд без конца. При сбое сети это то, что нужно. При неверном токене журнал заполнится одинаковыми ошибками, а systemctl status будет показывать то active, то activating (auto-restart).

Команда systemctl stop и перезагрузка сервера посылают программе сигнал SIGTERM и ждут до 90 секунд, после чего завершают её принудительно. Если бот в этот момент пишет в базу или отвечает человеку, научите его ловить SIGTERM и закрываться аккуратно. Наша программа так умеет, поэтому в журнале и стояло «Остановлен», а не оборванная строка. По этой записи и по тому, что ошибок перед ней не было, мы сразу поняли: программу остановили снаружи, сама она не падала.

Служба работает. А бот?

Вернёмся к нашей остановке. Служба systemd её бы не допустила: она не живёт в сеансе, и его закрытие её не касается. Но была и вторая ошибка. Об остановке мы узнали через 1 час 43 минуты, и случайно: у программы не было никого, кто заметил бы её молчание.

Статус «служба активна» ещё не значит, что бот отвечает. Программа может висеть на сетевом запросе или потерять соединение и не восстановить его. У бота в Telegram есть и своя ловушка: с наших серверов в России api.telegram.org напрямую не открывается, и служба в таком случае исправно перезапускается, не получая ни одного сообщения. Проверьте со своего сервера: curl -m 10 -sI https://api.telegram.org.

Поэтому боту нужны два сигнала:

  • сообщение о запуске. Наша программа при старте пишет в бот, сколько длился перерыв. 17 ноября это было «Запущен после перерыва 1 ч 55 мин»: перерыв она считает от последней выполненной работы, а та была в 10:41. Если такое сообщение пришло без вашей команды, программу что-то перезапускало;
  • регулярный сигнал «я работаю» внешнему монитору, который поднимет тревогу, когда сигналы прекратятся. Как это настроить, описано в статьях про cron и задачи по расписанию и про мониторинг одного сервера.

Как это устроено на Siteko. На виртуальном хостинге постоянно работающую программу запустить нельзя: долгоживущие процессы упираются в лимиты тарифа, для задач по расписанию там есть cron. Боту нужен VDS: там есть systemd и права root. Наш собственный бот в Telegram работает так же, как описано выше: это служба с Restart=always и RestartSec=5. Она сама завершается раз в час и после каждой выкладки кода, а systemd поднимает её уже на новой версии. Если на VDS подключена опция «Администрирование», с настройкой службы можно сразу писать в поддержку.

Если у вас на сервере что-то нужное работает под nohup или в tmux, задайте один вопрос: что будет после reboot. Файл службы из этой статьи пишется за десять минут, и лучше потратить их до перезагрузки, чем после.

Серия

Сервер в бою

  1. 1. Сервер упал в три ночи: разбор полётов без паники
  2. 2. Логи, которые говорят: учимся читать journalctl, nginx и syslog
  3. 3. Fail2ban и брутфорс: как перестать кормить ботов
  4. 4. Мониторинг для одного сервера: Uptime Kuma, Netdata и здравый смысл
  5. 5. Диск закончился внезапно: куда деваются гигабайты на VPS
  6. 6. Обновления без страха: apt upgrade, который ничего не сломает
  7. 7. Свой VPN на VPS за полчаса: WireGuard без магии
  8. 8. Несколько сайтов на одном VPS: делим ресурсы без драки
  9. 9. Тормозит сайт? Виноват не хостинг: тюним nginx и PHP-FPM
  10. 10. MySQL на маленьком VPS: почему база съедает всю память
  11. 11. Кэширование на пальцах: Redis, FastCGI cache и когда хватит просто заголовков
  12. 12. Cron, systemd-таймеры и скрипты: автоматизируем рутину сервера
  13. 13. Деплой без FTP в 2026-м: git pull, хуки и простой CI/CD на своём VPS
  14. 14. Переезд на другой VPS без даунтайма: чек-лист миграции
  15. 15. Резервный сервер для интернет-магазина: переключение за минуту и почему мы отказались от балансировщика
  16. 16. Сайта нет в панели хостинга: как понять, где лежат его файлы (хостинг, VDS или другой сервер)
  17. 17. Запустили программу на сервере, закрыли терминал, и она остановилась: nohup, tmux или служба systemd и что выбрать для бота, который должен работать всегда

Linux

Поделиться: Telegram ВКонтакте

Новые статьи и разборы — в канале Siteko: Telegram MAX

Подписчикам: +30 дней к пробному хостингу, клиентам: +150 ₽ на баланс

Пошаговые инструкции по нашим услугам — в базе знаний

Ещё по теме

PTR-запись принадлежит IP-адресу, а не домену, поэтому в DNS домена её не добавить. Кому писать, что проверить до письма и как убедиться, что всё сошлось.

«Свой сервер с нуля», часть 13

Серверы и VDS 4 мин чтения

Настраиваем домен и SSL так, чтобы браузер перестал ругаться

Сайт вы подняли, но браузер недоволен. В лучшем случае рядом с адресом висит серое «Не защищено». В худшем посетителя встречает красный экран во весь размер с надписью «Подключение не защищено», и человек уходит, не прочитав ни строчки. Эти предупреждения отпугивают сильнее любого плохого дизайна.

«Свой сервер с нуля», часть 11

Серверы и VDS 4 мин чтения

Бэкапы, которые реально спасут, а не лежат мёртвым грузом

У каждого, кто держит сервер, рано или поздно случается тот самый день. Упал диск, прошла кривая команда, влез вымогатель, или вы сами снесли не ту папку. Человек спокойно идёт за бэкапом и обнаруживает, что бэкап лежал на том же сервере, который только что умер. Или что архив пустой. Или что он год...

«Свой сервер с нуля», часть 12