В этой небольшой серии статей я попытаюсь пролить свет на тему построения Embedded Linux устройств, начиная от сборки загрузчика и до написания драйвера под отдельно разработанный внешний модуль с автоматизацией всех промежуточных процессов. В предыдущей части рассматривалось создание базовой системы, не выполняющей каких-либо полезных действий, но демонстрирующей, на своем примере, один из способов сборки подобных систем.  В этой части речь пойдет о таком инструменте автоматизации как Buildroot, о создании драйверов согласно современным веяниям драйверостроения, и реализации функционала, анонсированного в первой части, в виде отправки смайлов в топовый чат, широко известного в узких кругах, сайта,  в соответствии с командами от смайл-пульта.  По результатам прошлой части имеется плата с базовой системой и намерение добавить туда некоторый функционал, причем, чтобы при редактировании какой-либо составляющей, будь то пользовательская программа, драйвер ядра или просто настройки конфигурации, не пришлось делать множество телодвижений для сборки новой системы, в идеале же, ограничиться одной командой. Такую задачу может решить система сборки, наиболее известными являются Yocto Project, OpenWrt, Buildroot, все со своими преимуществами и недостатками, и, из перечисленных, здесь будет использоваться последняя. Как говорят на официальном сайте, Buildroot это простой, эффективный, легкий в использовании инструмент для создания встраиваемых систем посредством кросскомпиляции, Buildroot для Всех говорят они, и, да, во многом всё так и есть. Проверив зависимости (раздел 2), можно скачивать И, например, чтобы создать минимальную систему для BeagleBone Black, а там есть готовый, и не один, конфиг для этой платы, нужно этот конфиг установить и запустить сборку В результате, Buildroot сам скачает нужные исходники, соберет набор инструментов для кросскомпиляции, загрузчик, ядро Linux, системные утилиты, библиотеки, вобщем все то, что упоминалось в предыдущей статье и еще сверху. Установленные beaglebone_defconfig'ом настройки можно посмотреть командой:  Для вывода списка всех предустановленных конфигураций: Для вывода справки по всем командам: Здесь я не буду использовать предустановленные, а создам с нуля свою конфигурацию, куда, по ходу дела, будут добавлены все необходимые настройки платы. Для начала нужно создать папку, где будут сконцентрированы все дополнительные материалы, используемые в сборке конкретной платы, Buildroot рекомендует использовать для этого папку /board. Пусть рабочим названием платы будет "smilebrd" и теперь все что касается проекта будет находится в /board/smilebrd/ Время установить базовые настройки Buildroot для платы, все, о чем известно на данный момент.  Далее показаны только измененные настройки, остальное остается по умолчанию, плюс Buildroot сам отметит зависимости добавленных компонентов. Архитектура целевой платформы, тут достаточно очевидно, ARM, Cortex-A8 Сборка, нужно указать название конфига, который будет добавлен к уже имеющимся, после выполнения savedefconfig В качестве набора инструментов будет использоваться, описанный в предыдущей статье, gcc-arm-10.2-2020.11-x86_64-arm-none-linux-gnueabihf, также нужно указать некоторые параметры для корректного его использования, библиотекой будет полноценная glibc - место позволяет, и добавить поддержку C++ В конфигурацию системы можно добавить название системы вместе с выдаваемым приветствием, и изменить подсистему инициализации на systemd, а командную оболочку на bash. Также в этом разделе можно задать скрипт, который будет запущен перед компоновкой файловой системы. Здесь он используется для копирования в директорию сборки файла uEnv.txt, о нем речь шла в предыдущей статье, а также копирования настроек для автоматического запуска пользовательского приложения, о самом приложении речь пойдет позже   post-build.sh: Далее идут настройки ядра Linux. Как и с набором инструментов, будет использоваться готовое ядро, т.е. Buildroot не будет ничего качать самостоятельно, а распакует и соберет всё из исходников в указанном тарболе. Немного кастомизированна конфигурация ядра, т.к. в нее нужно добавить пункты по сборке свежеразработанных драйверов для свежеразработанного смайл пульта, еще отмечено, что нужно собрать дерево устройств и из чего собственно собирать, а также поддержка OpenSSL Пакеты, устанавливаемые в систему. Здесь понадобится firmware для wifi адаптера TP-LINK           TL-WN725N, он мал, доступен в продаже, недорог, с обязанностями справляется, внутри содержит чип Realtek 8188EU о чем и нужно указать в конфиге, а заодно добавить connman для управления подключением к wifi. Также, для взаимодействия с чатом посредством websocket я использовал утилиту wscat, она работает на nodejs, значит нужна поддержка nodejs и пакетного менеджера с нужным модулем Файловой системой будет ext4, с максимальным размером в 500 мегабайт, размер указывается просто в качестве планки, т.к. во встроенных системах, обычно, заранее известны все характеристики оборудования, и имеет смысл заранее узнать о превышении размера памяти, отведенного под корневую файловую систему Загрузчик U-Boot, подробнее про него, где брать и как настраивать, есть в предыдущей статье. Здесь же нужно указать, что используется именно U-Boot, где он находится, путь к настройкам U-Boot. Подойдет дефолтный конфиг для AM3358, но я, в образовательных целях, внес минимальные изменения, убрав 2-х секундную задержку при загрузке, это все отличия uboot_smilebrd_defconfig от am335x_evm_defconfig. Также нужно указать формат и наименование вторичного загрузчика Теперь осталось сохранить полученную конфигурацию И, чуть позже, добавить в сборку программу для общения со смайл пультом. Но прежде чем запускать сборку Buildroot, нужно создать, указанную выше, конфигурацию ядра Linux - kernel_smilebrd_defconfig. От дефолтного omap2plus_defconfig, использованного в предыдущей статье, новый конфиг отличается добавлением поддержки wifi адаптера и смайл пульта. Если драйвер wifi адаптера в ядре есть, то смайл пульта, очевидно, нет, и время этим заняться. Чтобы определиться, что должен делать драйвер, нужно несколько слов сказать о том, с чем ему придется работать, о смайл пульте.  Изделие представляет собой плату с микроконтроллером STM32L475. Камень избыточен для своих задач, но выбор пал на него только из-за наличия множества пылящихся отладок NUCLEO, имеющих похожий на борту. Смайлы являются полигонами TSC-контроллера, т.е. сенсорными кнопками, в прорезях платы светодиоды, куда ж без них, коммуникация с BeagleBone Black происходит посредством I2C, где STM выступает в роли ведомого. Еще есть UART на случай, вдруг пригодится, и, собственно, всё. Отсутствие башенки кварцевого резонатора говорит о тактировании от внутреннего RC генератора, а отсутствие стабилизатора, о питании от платы BeagleBone Black. Под капотом микроконтроллера безHAL'ьное ядро на Scm-RTOS, для интересующихся, исходники можно посмотреть здесь. Возвращаясь к драйверу, общий функционал у него такой: при касании сенсорной кнопки, пульт генерирует импульс на сигнальном выводе, давая понять, что ему есть что передать, это провоцирует прерывание на входном GPIO в BeagleBone Black, по сигналу прерывания запускается опрос пульта по I2C, данные о сработавшей кнопке подаются в приложение, которое сопоставляет кнопку с нужным смайлом и отправляет команду в чат. В обратную сторону предусмотрен только сигнал о подключении к серверу чата, для этого сигнала отведен отдельный светодиод на пульте. Итого в драйвере должен быть задействован интерфейс I2C, один GPIO, настроенный как вход, с подключенным прерыванием и один GPIO, настроенный как выход, для управления светодиодом. Упрощенно, модель устройств Linux можно представить в таком виде "Сверху" драйвер взаимодействует с фремворком, фреймворк формирует в папке /dev специальный файл называемый узел устройства, который, в свою очередь, используется из пространства пользователя посредством open/read/write/close, может еще ioctl. Есть несколько специфичных характеристик, говорящих о сущности устройства представленного этим узлом, это тип, и два числа называемые major и minor. В Linux, устройство может принадлежать одному из трех типов - символьное, блочное или сетевой интефейс, подавляющее большинство устройств, в том числе и смайл пульт,  является символьными, т.е. к которому можно обращаться как к потоку байтов. Числа major и minor соответсвуют принятой нумерации, отражающей функционал устройства, например, USB-UART переходник для общения с BeagleBone Black, работает через символьное устройство /dev/ttyUSB0 с номерами major/minor - 188/0, что соответствует значению из диапазона символьных устройств, предназначенному для USB serial converters с порядковым номером конвертера 0. Теперь, зная общую картину, можно заняться разбором драйвера смайл пульта, причем начать разбор стоит с конца Драйвера, по сути, являются модулями ядра, и последние три строки это макросы для установки общей информации, её можно будет увидеть, если загрузить модуль и набрать modinfo.  module_init(smilebrd_init) и module_exit(smilebrd_exit) это также макросы, вообще в документации на ядро макросы настоятельно рекомендуют к использованию, т.к. обратная совместимость не является сильной стороной кода ядра, и от версии к версии, в неизменном виде, макросы живут дольше. Эти макросы задают функции, которые будут вызваны при загрузке и выгрузке модуля. Когда же происходит загрузка модуля? Сейчас просто скажу, что конкретно этот модуль будет загружаться при старте системы во время описи подключенных устройств, т.к. он указан в Device Tree или дереве устройств, более подробный ответ будет, когда придет время это дерево редактировать. Вот что происходит во время загрузки модуля Выделяется память под структуру, где хранится некоторая полезная информация, на усмотрение разработчика, и далее инициализируется "верхняя" часть, согласно приведенной модели устройств. Если устройство не принадлежит явно к какому-либо типу, под который выделен отдельный major номер, если драйвер достаточно прост и нетребователен, то можно немного облегчить себе жизнь и воспользоваться фреймворком Miscenallaneous device, при регистрации такого типа устройства, ядро автоматически присвоит ему major номер 10, с помощью MISC_DYNAMIC_MINOR определит свободный minor и создаст узел устройств для него, останется только в miscdevice.fops определить реализацию действий с файлом. miscdevice.fops, т.е. file operations, представляет собой структуру со ссылками на обработчики операций open, read, write, poll, mmap  и.т.д. Нужны будут только read и ioctl, также нужно добавить поле .owner, как правило, это всегда THIS_MODULE При чтении файла узла устройства, процесс будет уходить в сон и находиться там до возникновения прерывания, сигнализирующего о касании сенсорной кнопки пульта. Данные о кнопке считываются по интерфейсу I2C во время обработки прерывания, во время чтения они просто передаются в пространство пользователя, чтобы процесс мог их обработать. ioctl используется для управления светодиодом, сигнализирующем о подключении к серверу чата, больше декоративная функция Теперь о взаимодействии "снизу", согласно модели устройств Linux  "Снизу" драйвер взаимодействует с шинами Platform Device и I2C, последняя, очевидно, руководит I2C, а первая выводом для приема сигнала о касании сенсоров и выводом для управления светодиодом. Вообще, в ядре есть отдельные инcтрументы для работы с выводами, к которым подключены светодиоды или выводами общего назначения, можно воспользоваться ими. Также, начиная с версии ядра 4.8, поменялось взаимодействие с GPIO, если раньше обращение к выводам происходило через их номер, то сейчас для этого нужен дескриптор. Регистрация происходит всё в том же init'е Резонный вопрос, что и зачем регистрируется?  Что - структура содержащая данные о драйвере, Зачем - чтобы шина могла выполнять типовые операции при работе с этим драйвером, например, сопоставление с набором оборудования, указанного в дереве устройств или процедуры probe/remove, т.е. выделение/освобождение ресурсов ядра. Подробнее, на примере I2C  Сначала создается структура smilebrd_i2c_dt_ids типа of_device_id, где of это Open Firmware, или полностью Open Firmware Device Tree - язык для описания оборудования, подключенного к плате, т.е. оборудования, которое не может быть определено автоматически, как например PCI или USB устройства. I2C как раз относится к шинам не поддерживающим автоматическое определение оборудования, и, чтобы ядро узнало о наличии I2C устройсва, ему заранее нужно передать список с подобным оборудованием, он же Device Tree. Каждое устройство в этом списке имеет свое имя и именно оно должно быть указано в поле .compatible, так ядро сможет считать остальные параметры из Device Tree и, в соответствии с ними, настроить регистры периферии Следующая структура используется при регистрации устройства в ядре, она содержит id, который  будет отличаться в устройствах схожего типа, но имеющих некоторые отличия, например, если сделать плату пульта с другим набором смайлов, эта таблица выглядела бы так Ещё одна структура, которая содержит две предыдущие, а также функции .probe/.remove вызываемые при подключении устройства Механизм примерно такой, в Device Tree есть запись о некоем смайл пульте такого вида "heavyc1oud,smilebrd_i2c", при старте, система видит эту запись и пытается найти драйвер с такой же записью, находит его и вызывает соответствующий .probe; соответствующий .remove будет вызван, если выгрузить модуль ядра Аналогично создается раздел драйвера по управлению выводами, в .probe, с помощью gpiod_get запрашивается дескриптор, по дескриптору настраивается режим работы, выход для светодиода, вход для сигнализации касания, также у вывода сигнализации настраивается защита от дребезга, хоть это и не механическая кнопка, но из-за длины провода могут проскакивать несанкционированные импульсы, и к нему же подключается прерывание по спадающему фронту В обработчике прерывания, по интерфейсу I2C, у пульта запрашиваются данные о кнопках, затем в узел устройства отправляется сигнал о наличии новой информации от пульта, прерывание обработано Следующим шагом нужно добавить драйвер к исходникам ядра, чтобы он отображался при вызове menuconfig и корректно собирался.  Для начала нужно выбрать раздел для драйвера, т.к. устройство не принадлежит явно к какому-либо типу, то драйвер, имеет смысл, расположить в папке /drivers/staging/  Помимо файла с кодом, в папке необходимо создать еще два файла. Первый, Kconfig, нужен для добавления нового пункта в меню конфигурации ядра, там указывается тип лицензии, в каком виде предполагается включение в ядро, т.е. предполагается / не предполагается / предполагается в виде модуля и справочная информация Второй файл, Makefile, нужен для сборки драйвера Затем нужно добавить в вышестоящие Kconfig и Makefile информацию о новом модуле В файл drivers/staging/Kconfig В файл drivers/staging/Makefile Теперь, при запуске конфигурации ядра, в меню раздела Device Drivers ---> Staging drivers ---> должен появиться новый драйвер Ранее, при настройке параметров ядра в Buildroot, был указан конфиг kernel_smilebrd_defconfig, он отличается от omap2plus_defconfig, использованного в предыдущей статье, добавлением, в виде модулей, пунктов Device Drivers ---> Staging drivers ---> Realtek RTL8188EU Wireless LAN NIC driver и Device Drivers ---> Staging drivers ---> Smile board driver. Для создания конфига нужно выбрать вышеуказанные пункты и выйти с сохранением настроек, настройки сохранятся в, расположенный здесь же .config, останется скопировать всё его содержимое в файл, указанный в настройках Buildroot и kernel_smilebrd_defconfig готов. Теперь, чтобы ядро решило воспользоваться новым драйвером, нужно внести изменения еще в одном месте. Упоминания о дереве устройств неоднократно встречались, еще начиная с настройки загрузчика, теперь пришло время поговорить об этом подробнее и немного подредактировать для своих нужд.  Давным давно, необходимые для ядра, сведения об оборудовании хранились в папках /arch/arm/plat-xxx и /arch/arm/mach-xxx, а информация ядру передавалась через, так называемые А-тэги, ATAGS, при этом, каждый, уважающий себя, производитель создавал свою версию платформы, которую нужно было поддерживать, пока, однажды, небезызвестный Линус Торвальдс не выразил некоторую озабоченность трудоемкостью поддержки этого зоопарка  Тогда было решено взять модель Device Tree, используемую на платформах архитектур SPARK и PowerPC.  Дерево устройств представляет собой иерархию узлов, описывающих физически присутствующее в системе оборудование, от процессора, до отдельных устройств, подключенных к шинам, которые не поддерживают автоматическое определение оборудования Все ARM'овые деревья устройств расположены в папке /arch/arm/boot/dts/, то дерево, которое предстоит редактировать называется am335x-boneblack.dts. Такой же файл, только с расширением .dtb, использовался в предыдущей статье, загрузчик еще передавал его ядру при старте. DTB это Device Tree Binary или Device Tree Blob, т.е. результат компиляции DTS - Device Tree Source, еще есть DTSI - Device Tree Source Include, это файлы включаемые в .dts, и, как правило, содержащие какие-то базовые вещи.  В дерево устройств нужно внести те изменения, которые касаются непосредственно железа.  Изменения начинаются с добавления новых данных в узел &am33xx_pinmux, здесь, амперсанд указывает, что используется ссылка на существующий узел am33xx_pinmux, существует он во включенном файле am335x-bone-common.dtsi, этот узел содержит данные о мультиплексировании выводов процессора, обычно, для всего многообразия периферии, выводов процессора не хватает, поэтому на каждый вывод назначается по несколько функций, это и есть мультиплексирование, т.е. в этом узле решается какую из функций задействовать.  В узел настроек мультиплексирования добавляются данные о том, что выводы R13 и V14 микросхемы будут использованы как выводы общего назначения и настроены, R13 как вход с подтяжкой к питанию, V14 как выход, по умолчанию используется выход push-pull По такому же принципу, добавляются данные к узлу &i2c2, процессор имеет на борту несколько интерфесов I2C, здесь используется второй по порядку. Сам узел является контроллером I2C, а добавляемые данные идентифицируют устройство, подключенное к этому контроллеру, так, по значению свойства compatible устройству сопоставляется драйвер, а значение свойства reg это номер устройства на шине I2C, т.е. значение которое фигурирует в первом байте при общении по протоколу I2C Узел smilebrd_gpio является самостоятельным, поэтому у него нет ссылки в виде амперсанда, здесь также есть свойство compatible для подключения нужного драйвера, дальше идут свойства устанавлювающие связь с узлом мультиплексирования, свойства, определяющие номера используемых выводов и активный уровень, т.е. низкий уровень напряжения означает приход сигнала, а ACTIVE_HIGH для вывода светодиода означает, что к нему подключен анод светодиода и чтобы этот светодиод зажечь, нужно подать высокий уровень напряжения. Свойство interrupts определяет вывод, к которому подключено прерывание и спад сигнала в качестве его тригера. Свойство status со значением okay говорит, что оборудование в наличии и используется. После внесения всех изменений в исходники ядра, нужно вернуть его в состояние тарбола и убедиться, что в Buildroot используется путь к обновленному ядру. Осталось добавить какой-то полезный функционал, создать программу, получающую информацию от пульта и отправляющую нужный смайл в чат. Основной упор портала, куда будут отправляться смайлы, сделан на взаимодействие через браузер, но также существует API с помощью которого можно взаимодействовать напрямую. Взаимодействие происходит посредством websocket-соединения и JSON-кодирования. Я не буду подробно останавливаться на самой программе, принцип работы у нее такой, вначале создается отдельный процесс для запуска программы wscat работающей с вебсокетами, этот процесс соединяется с сервером чата и ждет команд, которые должны поступать через предварительно созданные каналы, pipes. Затем, запрашиватся список текущих стримеров, список сортирован по количеству зрителей, т.е. первый в списке с самым большим их количеством, к этому каналу и происходит подключение.  После успешного подключения зажигается светодиод на смайл пульте, это делается посредством ioctl, предварительно открытого, узла dev/smilebrd. С помощью read процесс входит в режим ожидания сигнала о касании сенсора от смайл пульта, сигналом служит наличие данных о том, какого сенсора коснулись, определяется текст нужного смайла, и этот смайл отправляется в чат. Интересующиеся могут найти код здесь. Для достижения поставленной цели, т.е. чтобы сборка создавалась одной командой, нужно в Buildroot добавить пакет с вышеописанной программой, причем исходники нужно брать там же, где и всем интересующимся. Процесс добавления пакета в Buildroot, немного напоминает добавление своего драйвера в исходники ядра, нужно создать папку для своей программы в разделе package/ Далее в этой папке создать два файла, Config.in и smilebrd_serv.mk, первый отвечает за добавление нового пункта меню в Buildroot, второй говорит как собирать программу Config.in Чтобы файл конфига заработал, нужно добавить ссылку на него в конфиг верхнего уровня, а именно в package/Config.in, добавить нужно в соответствующий раздел, где планируется отображать свою программу, я добавил в раздел menu "Miscellaneous" В файле с указаниями для сборки, пишется версия, она будет выступать в роли тега при скачивании исходников с github. Makefile, со всеми подробностями, скачивается оттуда же, в SMILEBRD_SERV_INSTALL_TARGET_CMDS указывается куда нужно разместить результат сборки и какие присвоить права, пункт $(eval $(generic-package)) говорит, что сборка будет осуществляться посредством Makefile smilebrd_serv.mk Теперь в меню Buildroot должен появиться новый пакет Всё, настройка завершена, можно сохранить конфиг командой  И выполнять сборку всего вышеперечисленного по команде Результаты сборки помещаются в папку /output/images/, здесь будут файлы, необходимые для загрузки: am335x-boneblack.dtb --> скомпилированное дерево устройств  MLO --> вторичный загрузчик u-boot.img --> третичный загрузчик u-Env.txt --> дополнительные параметры u-boot zImage --> ядро Linux И корневая файловая система: rootfs.tar Осталось разместить всё на SD карте, подробнее об этом есть в первой статье, и подключить интернет, это можно сделать при помощи connman Если, командой top, заглянуть в список работающих процессов, можно увидеть программу smilebrd_serv, она запускается автоматически, после появления соединения с интернетом, напомню, что это было сделано в скрипте post-build.sh, также командой lsmod можно посмотреть список загруженных модулей в нем должен присутствовать smilebrd_dev. При перезагрузке, BeagleBone Black будет автоматически подключаться к указанной точке доступа, т.е. нужно лишь подождать когда загорится светодиод на пульте и можно слать смайлы, главное не злоупотребить Итого, просто, легко в использовании, эффективно, одной командой, как и было обещано. Тем, кто не встречался раньше со встроенными системами на Linux, и, все-таки смог прорваться до этого обзаца, может показаться, что Buildroot'овский лозунг звучит неправдоподобно или даже цинично, но, нет, системы сборки действительно максимально упрощают процесс и довольно просты в использовании, прошедшие Linux From Scratch не дадут соврать. В статье сложно описать нюансы построения встроенной системы на Linux, к тому же, все что касается ядра, стремительно устаревает, отчасти поэтому Грег Кроа-Хартман не очень любит вопросы про Linux Device Drivers четвертой редакции. Если же говорить про русскоязычные материалы, то их, впринципе, исчезающе мало. Вот мой вариант списка материалов, которые помогли с ответами на многие вопросы, ну и, конечно, не стоит забывать про форумы, с вопросом, корректно сформулированным, вам скорее всего помогут. Linux Device Drivers, 3rd Edition [2005] - устаревшая, но рекомендуемая к прочтению книга Материалы тренингов от Bootlin - тренинги платные, материалы бесплатные Mastering Embedded Linux Programming [2015] - про встраиваемые системы, первая часть статьи во многом построена на этой книге Linux Driver Development for Embedded Processors [2018] - современный взгляд на драйверостроение, раз Linux Device Drivers Development [2017] - современный взгляд на драйверостроение, два Mastering Linux Device Driver Development [2021] - современнейший взгляд на драйверостроение, три Device tree for dummies [2013] - популярно про деревья устройств, слайды к лекции Мануал по Buildroot И, конечно же, актуальный Datasheet по ядру Linux вольноопределяющийся