Привет, Хабр! Меня зовут Артём Добровинский и я Android-разработчик в FINCH. Однажды, кутаясь в дыму утренней сигары, я изучал исходники одной ORM для Android. Увидев там package под названием benchmarks сразу заглянул туда, и был удивлен тем, что все оценки выполнены с помощью Log.d(System.nanoTime()). Я видел такое не в первый раз. Если быть честнее, я видел даже бенчмарки, сделанные с помощью System.currentTimeMillis(). Обрушившееся осознание того, что что-то надо менять, заставило отставить в сторону бокал с виски и сесть за клавиатуру. Ситуация с пониманием того, как мерять производительность кода в Android — печальная.
Сколько не рассказывай про профайлеры, а и в 2019 году кто-то остается уверенным, что JVM делает всё, что разработчик написал и именно в том порядке, в котором код написан. В реальности нет ничего более далекого от истины.  На самом деле, несчастная виртуальная машина отбивается от миллиарда безалаберных кнопкодавов, которые пишут свой код, ни разу не напрягшись о том, как с этим всем будет работать процессор. Эта битва длится уже не первый год, и в рукаве у неё миллион хитрейших оптимизаций, которые (если их игнорировать) превратят любое измерение производительности программы в потерю времени.  Т.е., разработчики подчас не считают необходимым мерять производительность кода, а еще чаще — не знают, как. Трудность заключается в том, что для проведения оценки производительности необходимо создать для всех кейсов максимально схожие и идеальные условия — только так можно получить полезную информацию. Создаются эти условия не написанными на коленке решениями.  Если нужны доводы по поводу того, пользоваться ли для замера производительности сторонними фреймворками — всегда можно почитать Алексея Шипилёва и поразиться глубине проблемы. В статье по ссылке всё есть: и зачем нужен warmup перед проведением бенчмарка, почему System.currentTimeMillis() нельзя доверять вообще при подсчете прошедшего (elapsed) времени, и шутки за 300. Отличное чтиво.  Дело в том, что я всесторонне развитый разработчик: я не только владею Android SDK так, будто это мой pet-project, но еще где-то месяц писал код для бекенда.  Когда я принес лиду свой первый микросервис на ревью, и там в README не было бенчмаркинга — он смотрел на меня с непониманием. Я запомнил это и больше никогда не повторял этой ошибки. Потому-что ушел через неделю. Поехали. В рамках кейса по бенчмаркингу баз данных под Android я решил померить скорость иницализации и скорость записи/чтения для таких ORM, как Paper, Hawk, Realm и Room.
Да, я меряю в одном тесте NoSQL и реляционную БД — какой следующий вопрос? Казалось бы, если речь о JVM, то выбор очевиден — есть покрытый славой, доведенный до совершенства и безупречно задокументированный JMH. Но нет, на нём не заведyтся инструментальные тесты для Android.  Следом за ними идет Calipher от Google — с тем же результатом.  Есть форк Calipher под называнием Spanner — который как много лет задеперкейчен и призывает пользоваться Androidx Benchmark.  Остановим внимание на последнем. Хотя бы потому, что у нас не осталось выбора. Как и всё, что было добавлено в Jetpack, а не переосмыслено при переносе из Support Library, Androidx Benchmark выглядит и ведёт себя так, будто был написан за неделю-полторы в качестве тестового задания, и больше к нему никто никогда не притронется. Плюс, эта либа немного мимо — т.к., она больше для оценки UI-тестов. Но за неимением лучшего, можно работать и с ней. Это убережет нас хотя бы от очевидных ошибок, а также поможет с разогревом. Для снижения смехотворности результатов я прогоню все тесты 10 раз и вычислю средний показатель. Устройство для тестирования — Xiaomi A1. Не самое слабое на рынке, «чистый» Android. По подключению Andoridx Benchmark в проект есть отличная инструкция. Очень советую не полениться и подключить отдельный модуль для производства измерений.  Все наши бенчмарки будут исполнятся в следующем порядке: Код можно посмотреть здесь. Если лениво ходить, функция с замером для PaperDb выглядит так: Бенчмарки для остальных ORM выглядят схожим образом. Победитель — Realm, на втором месте Paper. Чем занимается Room еще можно представить, что почти столько же времени делает Hawk — абсолютно непонятно. Тут опять победитель Realm, но в этих результатах попахивает провалом.  Разница в четыре раза между двумя самыми «медленными» базами данных и в шестнадцать раз между самой «быстрой» и самой «медленной» — очень подозрительна. Даже с учетом того, что разница держится стабильно. Измерять производительность своего кода стоит хотя бы из любопытства. Даже если речь идёт о самых запущенных индустрией случаях (таких, как оценка инструментальных тестов под Android).  Есть все причины привлекать для этого дела сторонние фреймворки (а не писать свой с таймингом и чирлидершами).  Ситуация в кодовых базах такая, что все пытаются писать в чистой архитектуре, у большинства модуль с бизнес-логикой является java-модулем — подключить рядом модуль c JMH и проверять код на наличие бутылочных горлышек — работы на день. А пользы — на много лет вперед. Happy coding! P.S.: Если внимательный читатель знает о фреймворке для проведения бенчмарков инструментальных тестов под Android, не перечисленном в статье — пожалуйста, поделись в комментариях.  P.P.S.: Репозиторий с тестами открыт для пулл-реквестов. Android developer