На написание данной статьи меня вдохновила статья об анализе Сишного printf. Однако, там был пропущен момент о том, какой путь проходят данные после того, как они попадают в терминальное устройство. В данной статье я хочу исправить этот недочет и проанализировать путь данных в терминале. Также мы разберемся, чем отличается Terminal от Shell, что такое Pseudoterminal, как работают эмуляторы терминалов и многое другое. Давайте для начала разберемся, что такое Terminal, Shell, Console, чем отличается Terminal Emulator от обычного Terminal и почему он так назван. Информации об этом написано уже довольно много, поэтому ничего нового вы здесь не услышите. Почти вся информация здесь была взята из интернета, ссылки приведу в конце статьи. Кто уже знает, что все эти вещи обозначают, может смело пропускать данный раздел. Terminal (терминал) — это комбинация дисплея и клавиатуры, то есть физическое устройство. До того, как терминалы стали именно данной комбинацией, они являлись неким устройством под названием teleprinter (teletype, teletypewriter или TTY сокращенно), то есть комбинацией принтера и клавиатуры. Обычно несколько терминалов подключались к одному и тому же компьютеру. Таким образом возможно было работать нескольким пользователям за одним и тем же компьютером, причем каждому выделялась своя сессия, независимая от других. Терминал был назван так потому, что он находился на конце терминального кабеля (terminal end). Это Teletype: А это Terminal: Console (консоль) — терминал, который подключен напрямую к компьютеру. Дело в том, что большинство терминалов были соединены неявно, но хотя бы один был подключен напрямую к компьютеру. Консоль было разрешено использовать строго определенному кругу лиц, так как она позволяла настраивать компьютер. Если предыдущие два представляют собой физические устройства, то данное определение относится исключительно к программному обеспечению. Shell — это command line interpreter. Главное предназначение — запускать другие программы. Существует большое количество различных Shell'ов. Самым распространенным является Bash (от англ. Bourne Again SHell, что как подсказывает Википедия, является каламбуром для «Born again» Shell, то есть «возрождённый» Shell). Другие примеры: Dash (легковесный Shell, доступен, если запустить бинарник по адресу /bin/sh), Zsh. Конечно же, и терминалы, и консоли не могли не найти своего отражения в современности. Поэтому далее мы рассмотрим такие вещи, как Terminal Emulator и Virtual Console. Terminal Emulator — эмулятор старого доброго терминала. Эмулятор терминала требуется для программ, которые не могут напрямую взаимодействовать с X Window System — Bash, Vim и прочие. Давайте для начала установим обязанности терминала: Так и наш Terminal Emulator выполняет абсолютно то же самое: он доставляет ввод пользователя в запущенную программу, а также отображает вывод программы на дисплей. В любом случае, смысл сохраняется — между пользователем и запущенной программой, существует какой-то слой, отвечающий за ввод/вывод. Примеры Terminal Emulator: gnome-terminal, xterm, konsole. Прошу не путать Shell и Terminal Emulator!
Terminal Emulator — GUI приложение, то есть окно в X Window System. Shell — это command line interpreter, то есть просто исполнитель команд, он не имеет графической оболочки. Если говорить совсем правильно, вы не запускаете Bash, вы запускаете Terminal Emulator, который запускает внутри себя Bash. Terminal Emulator и Bash — абсолютно 2 различные программы. Первая отвечает исключительно за ввод/вывод, вторая — за обработку команд. Далее в статье все упоминания терминала будут относиться к эмулятору терминала. Нажмите Ctrl+Alt+FN, где N, обычно, имеет значения от 1 до 6. То, что вы сейчас видели — называется Virtual Console (виртуальная консоль) или Virtual Terminal (виртуальный терминал). Помните, что я говорил ранее о терминалах? Множество терминалов были подсоединены к одному компьютеру и каждый терминал был отдельной сессией, независимой от других. Virtual Console повторяет эту идею: внутри вашего компьютера может быть несколько независимых сессий (однако, ресурсы компьютера все же, очевидно, общие).  Вы можете именовать данную сущность как Virtual Console, так и Virtual Terminal, так как по определению, консоль — это терминал, подключенный напрямую к компьютеру, но ведь все виртуальные терминалы в каком-то смысле подключены напрямую к компьютеру. Каждому терминалу назначается свое TTY устройство (терминальное устройство), которое обеспечивает работу консоли. Хотя телетайпы вы вряд ли уже найдете, но сокращение TTY дошло и до наших дней. TTY устройство состоит из двух фундаментальных компонентов: Строение TTY устройства:  Существует 3 типа TTY устройств: В данной статье мы будем говорить именно о втором типе TTY устройств — псевдотерминалах. Начнем рассматривать дисциплину линии TTY устройств. Первой важной особенностью дисциплиной линии является то, что она отвечает за процессинг ввода/вывода. Это включает в себя, например, обработку управляющих символов (см. Управляющие символы) и форматирование вывода. Например, вы вводите любой текст, но вдруг понимаете, что ошиблись в написании чего-то и хотите это стереть — именно тут в дело вступает дисциплина линии. Разберем подробно, что именно происходит, когда мы работаем в Bash, запущенном в терминале. По умолчанию TTY устройство работает в каноничном режиме с включенным эхо (echoing). Эхо — это отображение введенных вами символов на экране. Когда мы вводим, к примеру, символ a, данный символ посылается в TTY устройство, но перехватывается дисциплиной линии TTY устройства. Она читает символ в свой внутренний буфер, видит, что включен режим echo и выводит символ на экран. В это время еще ничего не доступно для чтения в программе, к которой прикреплено терминальное устройство. Пусть мы нажимаем backspace на клавиатуре. Символ ^? снова перехватывается дисциплиной линии, и последняя, понимая, что пользователь хочет стереть последний введенный символ, удаляет данный символ из своего внутреннего буфера и стирает этот символ также с экрана. Теперь, если мы нажмем Enter, TTY Line Discipline наконец пошлет в буфер чтения терминального устройства все, что было записано раннее в внутренний буфер дисциплины, включая LF. При этом, на экран выводятся символы CR и LF для того, чтобы перевести курсор на новую строку — это форматирование вывода. Так работает каноничный режим — передает все введенные символы в устройство только после нажатия Enter, производит процессинг управляющих символов и форматирует вывод. TTY Line Editing — это тот компонент, который отвечает за процессинг ввода в дисциплине линии. Следует сказать, что Line Editing — это общее понятие и относится оно к процессингу ввода. Например, Bash и Vim имеют свой Line Editing. Мы можем контролировать настройки дисциплины линии текущего TTY устройства с помощью программы stty. Давайте немного поэкспериментируем. Откройте Bash или любой другой Shell и введите: Теперь попробуйте что-нибудь ввести — и вы не увидите вашего ввода (не беспокойтесь, вы все еще можете передавать ввод в программу). Вы только что отключили эхо — то есть отображение введенных символов на экране. Теперь введите:  Попробуйте что-нибудь вводить. Вы видите, как нарушается вывод. Но для большего эффекта давайте зайдем в Dash — введите /bin/sh. Теперь попробуйте вводить специальные символы (клавиша Ctrl + любой символ на клавиатуре) или же просто нажать Enter. Вы недоумеваете — что это за странные символы на экране? Дело в том, что мы, зайдя в самый простой Shell, кроме Line Editing самой дисциплины отключили также Line Editing Bash, и теперь можем вовсю наблюдать эффект включения raw режима дисциплины линии. Данный режим совершенно не производит процессинг ввода и не форматирует вывод. Зачем raw режим нужен? Например, для Vim: он открывается во всё окно терминала и производит сам процессинг ввода, хотя бы для того, чтобы специальные символы дисциплины линии не пересекались с специальными символами самого Vim. Для еще большего понимания давайте рассмотрим кастомизацию управляющих символов. В этом нам поможет команда stty <control-character> <string>.
Введите в Bash: Теперь управляющий символ erase будет назначен на символ 0. Кнопка backspace обычно имеет значение ^?, но теперь данный специальный символ будет передаваться в буфер чтения PTS устройства буквально — попробуйте сами. Стирать символы же теперь вы можете с помощью кнопки 0 на клавиатуре, ведь вы сами попросили tty line discipline распозновать введенный символ как управляющий символ erase. Вернуть обратно настройку вы можете с помощью команды stty erase ^\? или просто закрытием терминала, ведь мы влияли только на текущее tty устройство. Больше информации вы сможете найти в man stty. Каждый раз, когда мы открываем новый терминал в X Window System, GNOME Terminal Server порождает новый процесс и запускает в нём выбранную по умолчанию программу. Обычно, это какой-то Shell (например, Bash).  Общение с запущенной программой происходит через так называемый Pseudoterminal (псевдотерминал, PTY). Сам псевдотерминал существует в ядре, однако ввод получает из пользовательского пространства — из эмулятора терминала. Псевдотерминал состоит из следующих двух виртуальных TTY устройств:
1) PTY master (PTM) — ведущая часть псевдотерминала. Используется GNOME Terminal Server для передачи ввода с клавиатуры в запущенную внутри терминала программу, а также для чтения вывода программы и отображения вывода на дисплей. GNOME Terminal Server в свою очередь общается с X Window System по X протоколу.
2) PTY slave (PTS) — ведомая часть псевдотерминала. Используется программой, запущенной внутри терминала, для чтения ввода с клавиатуры и отображения вывода на экран. По крайней мере, так думает сама программа (объясню, что это значит, чуть далее). Любые данные, записанные в PTS устройство, являются вводом PTM устройства, то есть становятся доступны для чтения на PTM устройстве. И наоборот: любые данные, записанные в PTM устройство, являются вводом PTS устройства. Именно таким образом и происходит общение GNOME Terminal Server и запущенной внутри терминала программы. Каждому PTM устройству сопоставляется свое PTS устройство. Процесс запуска нового терминала выглядит примерно следующим образом:
1) GNOME Terminal Server создает master и slave устройства с помощью вызова функции open() на специальном устройстве /dev/ptmx. Вызов open() возвращает файловый дескриптор созданного PTM устройства — master_fd.
2) GNOME Terminal Server создает новый процесс с помощью вызова функции fork(). Данный процесс и будет являться новым терминалом.
3) В терминале PTS устройство открывается на файловых дескрипторах 0, 1, 2 (stdin, stdout и stderr соответственно). Теперь стандартные потоки ввода/вывода терминала ведут на данное устройство.
4) В терминале запускается нужная программа с помощью вызова функции exec(). Обычно запускается какой-то Shell (например, Bash). Любая программа, запущенная впоследствии из Bash, будет иметь те же файловые дескрипторы, что и сам Bash, то есть потоки программы будут направлены на PTS устройство. Вы можете сами посмотреть, куда направлены стандартные потоки вывода терминала, с помощью команды ls -la /proc/self/fd:
 PTS устройство находится по пути /dev/pts/N, а путь к PTM устройству нас абсолютно не интересует. Дело в том, что GNOME Terminal Server уже имеет файловый дескриптор открытого PTM устройства и ему не требуется путь к нему, однако в дочернем процессе мы должны открыть PTS устройство на стандартных потоках вывода с помощью вызова функции open(), которая требует путь к файлу. Помните, я сказал, что программа, использующая PTS устройство, только думает, что она общается напрямую с терминалом? Дело в том, что PTS также является терминальным устройством (TTY устройством), но разница между PTS устройством и действительным TTY устройством в том, что PTS устройство ввод получает не с клавиатуры, а с master устройства, а вывод идет не на дисплей, а на master устройство. Именно поэтому псевдотерминал назван так — псевдотерминал лишь имитирует (опять??) терминал. Разница между эмулятором терминала и псевдотерминалом в том, что эмулятор терминала — это лишь графическая программа, позволяющая запускать терминал прямо внутри оконного интерфейса, но реализована эта возможность с помощью псевдотерминала. То, что PTS устройство является TTY устройством — это очень важно. Вот почему: PTM устройство также является TTY устройством, но это не играет никакой роли, так как оно не используется в роли управляющего терминала. Более того, дисциплина линии PTM устройства установлена в raw режим, поэтому процессинг при передаче данных от PTS к PTM устройству не производится. Однако, вызовы read() и write() из пользовательского пространства все равно сперва обслуживаются дисциплиной линии на обоих устройствах. Данный момент сыграет еще большую роль, как мы увидим позднее. Процесс общения GNOME Terminal Server и запущенной внутри терминала программы выглядит следующим образом:  Следует поподробнее рассмотреть роль, которую играет дисциплина линии при общении между обеими частями псевдотерминала. Здесь дисциплина линии отвечает за процессинг данных, переходящих от PTM к PTS устройству, а также за доставку данных из одной части псевдотерминала в другую. Когда мы находимся в драйвере PTS устройства, мы задействуем дисциплину линии PTM устройства, и наоборот. Вы, наверное, могли подумать, что можете открыть файл по пути /dev/pts/N и писать или читать данные из него, как из обычного текстового файла? Да, все устройства в Unix-подобных системах являются файлами благодаря фундаментальному принципу Unix, который гласит, что все является файлом. Однако, никакие специальные файлы устройств (англ. — device file) не являются текстовыми файлами. Такие устройства называются виртуальными устройствами (virtual device) — то есть существуют исключительно в памяти, а не на диске. Не стоит пытаться открывать данные файлы как обычные текстовые файлы. Однако, вы можете использовать эти устройства через операции write() и read(), вызов которых обслужит драйвер устройства. Давайте попробуем сделать это.  Откройте два окна терминала и введите в каждом команду tty. Данная команда покажет, какое TTY устройство обслуживает текущий активный терминал. Теперь введите echo "Hello, World!" > /dev/pts/N в первом окне терминала, где N — это индекс PTS устройства второго окна, переключитесь на второе окно — и вы увидите ваш ввод с первого окна. Сейчас вы записали данные в PTS устройство второго окна так, как будто бы это сделала программа, работающая в том терминале.  Мы все ближе приближаемся к заключительной части статьи, но перед этим заглянем "под капот" Linux — рассмотрим устройство псевдотерминала на уровне ядра. Будет много кода, но я постараюсь объяснять каждый приведенный блок кода максимально подробно, сокращать неважные детали и идти последовательно. Перед началом введем так называемую "корзину компонентов". По мере продвижения по ядру, мы будет добавлять в нее всё больше компонентов и находить связь между ними. Надеюсь, это еще лучше поможет понять устройство псевдотерминала. Приступим. Когда Linux запускается, он загружает необходимые драйверы устройств. Такой драйвер имеется и у нашего псевдотерминала. Его регистрация начинается с вызова данной функции: Для всех современных систем будет вызвана функция unix98_pty_init(): Здесь нас интересует 3 вещи:  Пойдем по порядку: Функция tty_set_operations() всего лишь устанавливает таблицу функций для текущего драйвера: Структура tty_operations — это таблица функций, которая используется для доступа к функциям драйвера TTY устройства. Выделю самое главное в структурах pty_unix98_ops и ptm_unix98_ops, которые являются таблицей функций для соответствующих частей псевдотерминала: Здесь можете наблюдать уже знакомую по статье о Сишном printf функцию pty_write — к ней мы вернемся чуть позднее. Давайте добавим данную структуру в нашу корзину компонентов:
 Как видите, основные методы обоих драйверов совсем не отличаются. Кстати, заметьте, что отсутствует функция для read() операции — нет ничего похожего на pty_read(). Дело в том, что чтение будет обслуживаться исключительно дисциплиной линии. Таким образом, мы узнаём о второй важной особенности дисциплины линии — чтение данных с TTY утройства. Теперь перейдем к ptmx_open(): Нас интересует функция tty_init_dev(), где первым аргументом является драйвер PTM устройства, а вторым — индекс устройства. Здесь мы покидаем зону ответственности PTY драйвера и переходим к файлу, который отвечает только за общие TTY устройства и ничего не знает о нашем псевдотерминале. Сначала разберем функцию alloc_tty_struct(): Единственное, что нас здесь интересует, это функция tty_ldisc_init(): Которая вызывает tty_ldisc_get(): Итак, мы рассмотрели вызов функции alloc_tty_struct(), которая создает структуру tty_struct вместе с дисциплиной линии — структурой tty_ldisc. Обе структуры имеют ссылки друг на друга. Давайте познакомимся с данными структурами поближе. Вроде бы ничего сложного? Давайте добавим все рассмотренные до этого момента структуры в нашу корзину и свяжем их таким же образом, как они связаны в коде:
 Но мы создали tty_struct всего лишь для PTM устройства. А что же о PTS устройстве? Для этого вернемся к функции tty_init_dev() и вспомним о том, что дальше нас ожидает вызов функции tty_driver_install_tty(): Комментарий подсказывает нам, что данный метод ответственен за создание различных дополнительных структур. PTS устройство и будет являться нашей дополнительной структурой. Признаюсь, это было для меня крайне удивительно, ибо это, черт возьми, целое устройство, а не просто какая-то дополнительная структура! Но мы то с вами понимаем, что все устройства — это всего лишь какие-то структуры, так что идем дальше. Хорошо, что такое здесь driver->ops->install? Для этого посмотрим на таблицу функций для PTM драйвера ещё раз: И поймем, что нас интересует функция pty_unix98_install(): Которая вызывает функцию pty_common_install(): Мы видим, что для PTS устройства создается абсолютно такая же структура tty_struct за исключением того, что в ней будет находиться драйвер PTS устройства. Обе структуры хранят указатели друг на друга для общения между собой. Добавляем tty_struct для PTS устройства в нашу корзину. Мы не будем рассматривать весь процесс регистрации драйвера, так как нас интересует только установка таблицы функций для файла TTY устройства (ведь мы должны как-то получить доступ к самому устройству при работе с файлом?).
Это — таблица функций, которая будет установлена для файла как PTM, так и PTS устройства: Мы не будем добавлять данную структуру в нашу корзину, ибо она в принципе то и не относится к устройству псевдотерминалов и служит лишь для доступа к TTY устройству. Готово. Мы рассмотрели процесс создания обоих устройств, который будет произведен при открытии мультиплексора /dev/ptmx. Таким образом, включая второе PTS устройство, которое имеет точно такое же строение, как и PTM устройство, общая картина строения псевдотерминала складывается следующая:  Ну вот мы и подошли к самому главному. В данной главе мы полностью разберем путь нашей строки "Hello, World!", отправленной из простой Си программы в терминальное устройство. Итак, наша строка "Hello, World!" отправляется в увлекательное путешествие. На самом деле, программа не знает ничего, кроме того, что она пишет в стандартный поток вывода. Ей больше нет разницы, куда этот вывод пойдет. Направьте stdout в /dev/null — и вывод вообще не будет нигде отображаться. Здесь я не буду рассказывать о вызовах библиотечных Си функций, а начнем сразу с файловой системы Linux. Так как каждое устройство в Unix является файлом с определенными для него функциями write(), read(), close() и прочими, то при вызове write() на /dev/pts/0 мы попадаем в общую для всех файлов функцию __vfs_write(): Здесь мы вызываем операцию write() из таблицы функций для текущего файла. Как вы помните, таблица функций была установлена при регистрации драйвера и выглядела она следующим образом: Функция tty_write(): Данная функция получает структуру tty_struct для текущего файла TTY устройства, а потом достает из нее дисциплину линии и вызывает функцию write() для нее. Таблица функций дисциплины линии выглядела следующим образом: Переходим к функции n_tty_write(): Итак, строка "Hello, World!" наконец отправилась в write() функцию драйвера PTS устройства. Найдем эту функцию в таблице функций драйвера: Функция pty_write(): Давайте здесь остановимся и проследим наш путь до этого места: Вроде бы ничего не упустили. Итак, буфер передается в очередь ввода на PTM устройство. Разберемся, как именно это происходит. Для начала, следует познакомить вас с новой структурой данных под названием flip buffer. Flip buffer — это структура данных, состоящая из двух массивов. Когда tty driver получает новые данные, он сохраняет их в первом массиве. Когда массив заполняется, ожидающая данных сторона будет об этом уведомлена и сможет прочитать данные из этого массива. Если в будущем появятся новые данные, они сохранятся уже во второй массив для того, чтобы не перезаписать читающиеся другой стороной данные. Когда и этот массив заполняется, ожидающая данных сторона снова будет уведомлена, а новые данные в следующий раз будут снова записываться в первый массив. Именно из-за такой логики данная структура данных и названа flip buffer — потому что данные перемещаются между массивами (наверное, здесь лучше подойдет какое-то другое слово, но я не знаю хорошего перевода для слова flip). Не будем долго тянуть и снова идти по цепочке вызовов, так что сразу перейдем к нужной функции. Вызов tty_insert_flip_string() в итоге перетекает в вызов функции под названием tty_insert_flip_string_fixed_flag(), в которой и происходит основная работа по передаче данных в PTM устройство: На самом деле, flip buffer был замёнен новой имплементацией в новых версиях ядра, однако поведение буфера осталось почти таким же, а все функции остались совместимы с раннее реализованными драйверами. Не стоит сильно вникать в устройство данного буфера, ясно одно — в конце концов данные будут перемещены в PTM устройство, а после окончания записи ожидающая сторона будет уведомлена о готовых для чтения данных.  Итак, наша строка "Hello, World!" оказалась в PTM устройстве. В это время GNOME Terminal Server заблокирован на вызове poll() (техника мультиплексирования I/O) и ожидает новых данных на любом из master устройств. Вы думаете, сейчас он проснется и прочитает новые данные на устройстве? Как бы не так. Когда я говорил об ожидающей стороне, я говорил о дисциплине линии, ведь это именно её задача — принимать ввод и производить его процессинг при необходимости. Дисциплина линии будет уведомлена о новых данных с помощью вызова функции tty_flip_buffer_push() (в том же pty_write): Функция tty_schedule_flip(), в свою очередь, планирует задачу по доставке данных в дисциплину линии: Я не знаю, что здесь подразумевается под work (предположу, что это какая-то внутренняя структура ядра для планировки различных задач) и какой компонент ядра отвечает за планировку, но из комментариев ясно следующее — когда задача начнет выполняться, доставку организует функция flush_to_ldisc(): Функция receive_buf() через цепочку вызовов в итоге перетекает в вызов функции __receive_buf(), которая диспатчит работу по процессингу ввода: Все функции, начинающиеся с n_tty_receive_buf (кроме тех, где есть суффикс _raw) производят процессинг данных и записывают данные в буфер под названием read_buf, который и является основным буфером для чтения с TTY устройства. Так как дисциплина линии для PTM устройства установлена в raw режим, то процессинг не будет произведен и данные сразу запишутся в read_buf. Однако, если бы мы разбирали доставку данных от PTM к PTS устройству, то процессинг был бы произведен. Опишу полную цепочку вызовов до конечного вызова, включая пропущенные вызовы: Заметьте, никакая функция PTM драйвера при перемещении данных не была использована — вся работа произошла в дисциплине линии и драйвере PTS устройства. Можете выдохнуть: данные наконец записаны в конечный буфер PTM устройства. Теперь GNOME Terminal Server просыпается и читает нашу строку "Hello, World!", вызывая read() на PTM устройстве. Вызов read() по аналогии с write() перехватывается дисциплиной линии — методом n_tty_read(). В этой функции нет ничего интересного, кроме того, что она просто переместит данные из буфера в ядре — read_buf — в пользовательский буфер. Далее GNOME Terminal Server передает строку в X Server, который отобразит её на дисплей. Таким образом, наша строчка "Hello, World!" проходит следующий путь: Подведем итог. В данной статье мы узнали: На этом все, спасибо за внимание! Если у вас возникли какие-нибудь вопросы — смело задавайте их в комментариях, буду рад ответить!