Запустили программу на сервере, закрыли терминал, и она остановилась: nohup, tmux или служба systemd и что выбрать для бота, который должен работать всегда
Эдгар Косулин 8 мин чтения
Серия «Сервер в бою» · часть 17 из 17
Содержание
17 ноября в 10:53 по Москве у нас остановилась служебная программа, которой мы управляем через бота в Telegram. Ошибок не было. Последней строкой в её журнале стояло «Остановлен», как после обычной команды остановки, только такой команды никто не давал. Заметили мы это в 12:36, когда бот не ответил на запрос состояния.
Причина знакома каждому, кто запускал что-нибудь на сервере командой в терминале. Программу запустили из рабочей сессии и оставили в фоне, а оформить её службой собирались позже. Сессия перезапустилась и завершила всё, что в ней работало. У нас это была сессия инструмента разработки, а не SSH, но механизм тот же, что и при закрытом окне терминала.
Чаще всего на такой случай советуют три способа: nohup, tmux и службу systemd. Для бота, который должен работать постоянно, годится только последний. Ниже видно почему.
Почему программа останавливается вместе с терминалом
Программа, запущенная в терминале, принадлежит его сеансу. Когда сеанс заканчивается, командная оболочка получает сигнал SIGHUP (от hang up, «повесили трубку») и передаёт его программам, которые из неё запущены. Программа, которая не обрабатывает этот сигнал сама, по нему завершается. Сеанс заканчивается не только когда вы закрыли окно: оборвался Wi-Fi, уснул ноутбук, SSH-соединение разорвалось по таймауту.
Амперсанд в конце команды (python bot.py &) не спасает. Он возвращает вам командную строку, а
программа остаётся в том же сеансе. Отсюда путаница: если выйти из bash командой exit, фоновая
программа обычно продолжает работать, а если закрыть окно или потерять связь, завершается. Человек
проверяет первым способом и успокаивается, а ночью рвётся связь.
Есть и второй слой. В системах с systemd за сеансами пользователей следит служба logind, и у неё
есть настройка KillUserProcesses. Когда она включена, при выходе пользователя завершаются все его
процессы, включая запущенные через nohup и tmux. В Debian и Ubuntu она по умолчанию выключена, на
незнакомом сервере стоит проверить:
systemd-analyze cat-config systemd/logind.conf | grep KillUserProcesses
Строка с решёткой в начале показывает значение по умолчанию.
Отличить остановку вместе с сеансом от падения можно по трём признакам. В журнале программы нет
ошибки: он обрывается или заканчивается обычной записью об остановке. Время остановки совпадает с
концом вашего сеанса, его показывает last -n 5. Сервер при этом не перезагружался: uptime -s
выводит время последней загрузки. Если журнал оборван на полуслове, а сеанс был открыт, проверьте
ещё нехватку памяти: journalctl -k | grep -i "out of memory".
nohup: пережить закрытие терминала, и только
nohup python bot.py > bot.log 2>&1 &
nohup запускает программу так, что сигнал SIGHUP она игнорирует. Вывод, если его не перенаправить,
пишется в файл nohup.out в текущей папке. Этого достаточно, чтобы закрыть терминал и уйти.
Остального nohup не делает:
- упавшую программу не перезапускает;
- после перезагрузки сервера её не запускает;
- за журналом не следит: файл растёт, пока на диске есть место;
- не помнит, что запущено. Через месяц процесс придётся искать через
ps aux | grep bot, а останавливать командойkill.
Именно nohup стал нашей временной мерой 17 ноября: программу запустили заново, уже отдельно от сессии, и записали себе, что автозапуска у неё по-прежнему нет. На следующее утро, в 06:51, бот снова не отвечал. Что остановило программу во второй раз, мы к моменту публикации ещё не выяснили. У процесса под nohup нет никого, кто записал бы, когда и чем он закончился.
tmux: для долгой работы, за которой надо смотреть
tmux (как и более старый screen) держит на сервере свой сеанс терминала, который не привязан к вашему подключению:
tmux new -s import # новый сеанс с именем import
# запускаете команду, она работает на экране
# Ctrl+b, затем d: отключиться и оставить всё работать
tmux ls # список сеансов
tmux attach -t import # вернуться к тому же экрану
Связь оборвалась, а команда работает дальше, и после подключения вы видите её вывод с того же места. Так стоит запускать всё разовое, что идёт дольше нескольких минут и что нельзя оборвать на середине: импорт большой базы, перенос файлов, обновление системы.
Для бота tmux не лучше nohup. Упавшую программу он не перезапустит, а после перезагрузки сервера сеансов tmux не останется. Бот в tmux может проработать полгода, до первой перезагрузки после обновления ядра.
Служба systemd: то, что нужно боту
systemd на сервере уже есть: это он запускает nginx, базу данных и SSH и поднимает их после
перезагрузки. Свою программу можно отдать ему же. Нужен один файл,
/etc/systemd/system/mybot.service:
[Unit]
Description=My bot
After=network-online.target
Wants=network-online.target
[Service]
User=bot
WorkingDirectory=/opt/mybot
EnvironmentFile=/opt/mybot/.env
Environment=PYTHONUNBUFFERED=1
ExecStart=/opt/mybot/.venv/bin/python -m app.main
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
По строкам:
User=bot. Программа работает от отдельного пользователя, а не от root. Создаётся он командойuseradd --system --shell /usr/sbin/nologin bot, папку проекта отдаёт емуchown -R bot: /opt/mybot.WorkingDirectoryи полный путь вExecStart. Служба не читает.bashrcи ничего не знает о виртуальном окружении, которое вы включали в терминале, поэтому путь к интерпретатору указан целиком. Это та же болезнь «руками работает, а по расписанию нет», что у cron.EnvironmentFile. Токены и пароли лежат в файле строкамиИМЯ=значение, без словаexport. Файлу нужны права600.PYTHONUNBUFFERED=1. Без этой переменной Python копит вывод в буфере: строки попадают в журнал с опозданием, а при падении могут не попасть совсем. Для Node.js она не нужна, там меняется только команда:ExecStart=/usr/bin/node server.js.Restart=alwaysиRestartSec=5. Чем бы ни закончилась программа, через 5 секунд systemd запустит её снова. Вариантon-failureперезапускает только после ошибки: если бот при потере связи завершается «чисто», с кодом 0, он так и останется выключенным. Командаsystemctl stopперезапуска не вызывает.WantedBy=multi-user.target. С этой строкой служба встаёт в автозапуск при загрузке сервера. Включает его командаenable.
Запускаем:
systemctl daemon-reload
systemctl enable --now mybot # автозапуск и запуск сейчас
systemctl status mybot # работает ли и с какого времени
journalctl -u mybot -f # журнал в реальном времени
Вывод программы попадает в журнал systemd, который сам ограничивает свой размер. Как его читать, мы разбирали в статье «Логи, которые говорят».
Если прав root нет, службу можно завести от своего пользователя. Файл кладётся в
~/.config/systemd/user/, в нём нет строки User= и указано WantedBy=default.target, а команды
пишутся как systemctl --user enable --now mybot. Но администратор должен один раз выполнить
loginctl enable-linger <пользователь>. Без этого службы пользователя останавливаются, когда он
выходит из системы, и вы возвращаетесь к тому, с чего начали.
Для Node.js инструкции часто советуют PM2, в том числе инструкции, которые пишут нейросети. Он
работает, но чтобы пережить перезагрузку, ему нужна команда pm2 startup, а она создаёт ту же
службу systemd. Клиенту, которому мы настраивали VDS под приложение на Node.js, мы сделали службу
напрямую: одной прослойкой меньше. Если программа уже живёт в контейнере, ту же задачу решает
restart: unless-stopped, про это есть в статье
про Docker на VPS.
Что выбрать
| nohup | tmux | служба systemd | |
|---|---|---|---|
| Закрыли терминал, оборвалась связь | работает | работает | работает |
| Программа упала | остаётся выключенной | остаётся выключенной | перезапустится |
| Сервер перезагрузился | не запустится | не запустится | запустится сама |
| Журнал | файл без ограничения размера | экран сеанса | journalctl |
| Для чего | разовая команда, когда нет tmux | долгая разовая работа под присмотром | всё, что должно работать постоянно |
Проверьте службу сразу
Три проверки занимают пять минут, и делать их лучше в день настройки:
- Закройте терминал и зайдите снова. В выводе
systemctl status mybotвремя в строкеActive: active (running) sinceне должно измениться. - Завершите процесс принудительно:
systemctl kill -s KILL mybot. Через 5 секундstatusпокажет новый запуск. - Перезагрузите сервер командой
reboot, пока это ничего не стоит, и убедитесь, что бот поднялся сам. Командаsystemctl is-enabled mybotдолжна отвечатьenabled.
Ещё два свойства полезно знать заранее.
Если программа падает сразу при запуске, например из-за неверного токена, systemd по умолчанию
сдаётся после пяти запусков за 10 секунд. С RestartSec=5 до этого предела не доходит, и служба
будет пробовать каждые 5 секунд без конца. При сбое сети это то, что нужно. При неверном токене
журнал заполнится одинаковыми ошибками, а systemctl status будет показывать то active, то
activating (auto-restart).
Команда systemctl stop и перезагрузка сервера посылают программе сигнал SIGTERM и ждут до 90
секунд, после чего завершают её принудительно. Если бот в этот момент пишет в базу или отвечает
человеку, научите его ловить SIGTERM и закрываться аккуратно. Наша программа так умеет, поэтому в
журнале и стояло «Остановлен», а не оборванная строка. По этой записи и по тому, что ошибок перед
ней не было, мы сразу поняли: программу остановили снаружи, сама она не падала.
Служба работает. А бот?
Вернёмся к нашей остановке. Служба systemd её бы не допустила: она не живёт в сеансе, и его закрытие её не касается. Но была и вторая ошибка. Об остановке мы узнали через 1 час 43 минуты, и случайно: у программы не было никого, кто заметил бы её молчание.
Статус «служба активна» ещё не значит, что бот отвечает. Программа может висеть на сетевом запросе
или потерять соединение и не восстановить его. У бота в Telegram есть и своя ловушка: с наших
серверов в России api.telegram.org напрямую не открывается, и служба в таком случае исправно
перезапускается, не получая ни одного сообщения. Проверьте со своего сервера:
curl -m 10 -sI https://api.telegram.org.
Поэтому боту нужны два сигнала:
- сообщение о запуске. Наша программа при старте пишет в бот, сколько длился перерыв. 17 ноября это было «Запущен после перерыва 1 ч 55 мин»: перерыв она считает от последней выполненной работы, а та была в 10:41. Если такое сообщение пришло без вашей команды, программу что-то перезапускало;
- регулярный сигнал «я работаю» внешнему монитору, который поднимет тревогу, когда сигналы прекратятся. Как это настроить, описано в статьях про cron и задачи по расписанию и про мониторинг одного сервера.
Как это устроено на Siteko. На виртуальном хостинге постоянно работающую программу запустить нельзя: долгоживущие процессы упираются в лимиты тарифа, для задач по расписанию там есть cron. Боту нужен VDS: там есть systemd и права root. Наш собственный бот в Telegram работает так же, как описано выше: это служба с
Restart=alwaysиRestartSec=5. Она сама завершается раз в час и после каждой выкладки кода, а systemd поднимает её уже на новой версии. Если на VDS подключена опция «Администрирование», с настройкой службы можно сразу писать в поддержку.
Если у вас на сервере что-то нужное работает под nohup или в tmux, задайте один вопрос: что будет
после reboot. Файл службы из этой статьи пишется за десять минут, и лучше потратить их до
перезагрузки, чем после.
Серия
Сервер в бою
- 1. Сервер упал в три ночи: разбор полётов без паники
- 2. Логи, которые говорят: учимся читать journalctl, nginx и syslog
- 3. Fail2ban и брутфорс: как перестать кормить ботов
- 4. Мониторинг для одного сервера: Uptime Kuma, Netdata и здравый смысл
- 5. Диск закончился внезапно: куда деваются гигабайты на VPS
- 6. Обновления без страха: apt upgrade, который ничего не сломает
- 7. Свой VPN на VPS за полчаса: WireGuard без магии
- 8. Несколько сайтов на одном VPS: делим ресурсы без драки
- 9. Тормозит сайт? Виноват не хостинг: тюним nginx и PHP-FPM
- 10. MySQL на маленьком VPS: почему база съедает всю память
- 11. Кэширование на пальцах: Redis, FastCGI cache и когда хватит просто заголовков
- 12. Cron, systemd-таймеры и скрипты: автоматизируем рутину сервера
- 13. Деплой без FTP в 2026-м: git pull, хуки и простой CI/CD на своём VPS
- 14. Переезд на другой VPS без даунтайма: чек-лист миграции
- 15. Резервный сервер для интернет-магазина: переключение за минуту и почему мы отказались от балансировщика
- 16. Сайта нет в панели хостинга: как понять, где лежат его файлы (хостинг, VDS или другой сервер)
- 17. Запустили программу на сервере, закрыли терминал, и она остановилась: nohup, tmux или служба systemd и что выбрать для бота, который должен работать всегда