КЛАССИФИКАЦИЯ ТЕХНИЧЕСКИХ НАПРАВЛЕНИЙ РАЗВИТИЯ НА ОСНОВЕ АНАЛИЗА ВРЕМЕННЫХ РЯДОВ ПАТЕНТОВ США. ЭМПИРИЧЕСКИЙ ПОДХОД

Вестник Томского государственного университета. Экономика. 2021. № 53

УДК 608.3,347.771.3,338.27 Б01: 10.17223/19988648/53/18

В.И. Карнышев, В.И. Авдзейко, Е.С. Паскаль

КЛАССИФИКАЦИЯ ТЕХНИЧЕСКИХ НАПРАВЛЕНИЙ РАЗВИТИЯ НА ОСНОВЕ АНАЛИЗА ВРЕМЕННЫХ РЯДОВ ПАТЕНТОВ США. ЭМПИРИЧЕСКИЙ ПОДХОД

Прогнозирование тенденций развития и своевременное выявление перспективных технических (технологических) направлений является обязательным условием эффективного развития экономики на современном этапе. Только достоверные результаты технологического анализа (прогноза) позволяют выявлять новые тенденции, понимать эволюцию целых отраслей, вырабатывать правильную экономическую стратегию, осуществлять стратегическое планирование инвестиций на государственном уровне, а также устанавливать приоритеты в организации научных исследований и разработок. Цель данной работы состоит в обосновании эмпирического подхода к классификации технических (технологических) областей с точки зрения оценки их актуальности, новизны и краткосрочных перспектив. В основе этого подхода лежит патентный анализ, в частности исследование особенностей временных рядов патентов США на изобретения (1976-2018) в более чем семидесяти трёх тысячах основных групп и подгрупп 17-й редакции Международной патентной классификации (МПК17). Ведомство по патентам и товарным знакам США (USPTO) было выбрано в качестве основного источника информации, как один из крупнейших в мире и постоянно пополняемых патентных ресурсов, обеспечивающих непосредственный доступ к полнотекстовым описаниям патентов. По мнению авторов, анализ особенностей динамики выдачи патентов США на временных интервалах 1976-2015, 2009-2018 и 2016-2018 гг. позволяет разбить группы (подгруппы) МПК на следующие три основные условные категории: «неперспективные», «перспективные» и «прорывные». С точки зрения своевременного выявления новых, ранее неизвестных, технологий или решений в технической области, или устойчиво растущих технологических трендов наибольший практический интерес представляют «прорывные» и «перспективные» подгруппы. В работе приведены результаты эмпирической классификации 71 266 подгрупп (с числом патентов, отличным от нуля, с 1976 по 2018 г.) в восьми разделах МПК17. Эти данные могут оказаться полезными как для технических разработчиков, так и для специалистов, связанных с формированием прогнозных оценок развития отраслей экономики и планированием НИОКР на государственном уровне. Ключевые слова: патентный анализ, МПК, патенты США, эмпирический подход, автоматическая классификация, технологические тренды, прогнозные оценки, планирование НИОКР, инвестиции, развитие экономики.

Введение

В настоящее время анализ патентной информации с точки зрения оценки перспектив развития существующих и прогнозирования появления новых технологий, а также их влияния на прогресс в отдельных отраслях

экономики стран мира представляет собой значимый и актуальный тренд научных исследований, в том числе в экономической сфере. Это объясняется тем, что патенты являются наиболее важными техническими документами, которые широко используются для поддержки стратегического планирования научно-технических исследований и разработок, оценки и прогноза необходимых финансовых вложений как на государственном, так и на отраслевом уровне.

Так, например, в работе [1], посвященной сравнению инструментов интеллектуального анализа данных для технологического прогнозирования и конкурентной разведки, указывается, что патенты содержат около 80% научной и технической информации, которая отсутствует в других источниках. Именно поэтому патентная информация так широко используется для выявления и прогнозирования перспективных направлений технического (технологического) развития при принятии ответственных решений экономического и финансового характера на уровне страны либо на уровне производственных и научно-производственных компаний и корпораций.

Для того чтобы актуализировать использование патентной информации в различных формах в качестве надёжного инструмента экономической аналитики, а также при оценке целесообразности и эффективности инвестиций в различные отрасли экономики либо обоснованного распределения средств государственного бюджета, выделяемых для проведения научных исследований (НИОКТР), необходимо решить задачу автоматизированного анализа и оценки патентов. Учитывая то, что с момента создания единой Международной патентной классификации (МПК) в мире было подано более 60 миллионов патентных заявок, подобная задача является чрезвычайно актуальной. При этом для её решения используются различные методы.

Одним из подходов, позволяющих выявлять и прогнозировать перспективные направлений развития, является анализ технологических трендов с использованием методологии патентных ландшафтов [2]. Типичным примером практической реализации подобного подхода может служить работа [3], в которой рассматривается история исследований в области прогнозирования технического состояния и контроля работоспособности электрических систем в промышленности на основе 114 патентов США, зарегистрированных в период с 2000 по 2015 г.

Помимо выявления преимущественных тенденций развития, известен подход, основанный на поиске ключевых технических решений (патентов). В частности, активно развивается использование сетей цитирования (citation network). Так, например, в работе [4] для автоматизированного выявления ключевых патентов США (1976-2007), имеющих важное или определяющее значение в области информации и безопасности, вводится новая мера центральности, основанная на изменении матричной нормы Шаттена (Schatten) матрицы подобия. В статье [5], использующей указанный метод, на основе патентов 2002-2010 гг. проводится патентный анализ сектора телекоммуникационного оборудования с тем, чтобы понять, какие

технологические области будут затронуты научными и прикладными разработками. Утверждается, что данный подход позволил обнаружить как новые технологии, так и потенциальные возможности для бизнеса в преобразовании отрасли. Более развёрнутый метод анализа информации, содержащейся в патентах, предложен в статье [6], посвящённой анализу тенденций развития технологий. Вначале исследуются основные характеристики патентов, а общий тренд в технической области оценивается на микроуровне. Затем формируется сеть сотрудничества (cooperation network), после чего с помощью теории социальных сетей анализируется взаимодействие патентообладателей, выявляются ведущие компании и условия выдачи патентов. В результате формируется сеть цитирования, проводится анализ развития технологий и передачи знаний с использованием методов совместного цитирования и совместного использования словосочетаний.

Большое число публикаций, связанных с анализом патентов, посвящено исследованию передовых технологий. Так, для мониторинга новых технологий предлагается использовать анализ цитируемых патентов на основе ключевых слов [7]. Авторы утверждают, что предложенный ими метод может обеспечить надежность патентного мониторинга, даже при малом количестве анализируемых патентов.

С другой стороны, в связи с быстрым развитием информационных технологий и достижениями в области больших данных многие исследователи анализируют патентную информацию с использованием таких методов, как интеллектуальный анализ данных [8-10]. Например, в статье [11] на основе 14 979 патентов (1900-2017 гг.) в базе данных PATSTAT Global проводится анализ технологий в области органических светодиодов (OLED) и круг их правообладателей, сравнивается состояние китайской OLED-индустрии с мировым уровнем, отмечаются имеющиеся недостатки и формулируются предложения по их устранению. Ещё одной тенденцией в выявлении новых технологий является сочетание патентного анализа и интеллектуального анализа данных в новостях в Интернете [12].

Другим активно развиваемым направлением в выявлении новых технологий является текстовая обработка и извлечение информации как из патентов, так и из источников научной и технической литературы.

Например, в статье [13] описан полуавтоматический, семантический метод технологического планирования и формирования стратегии исследований, который был применён в отношении 583 патентов из базы данных USPTO, связанных с наносенсорами. Суть метода, основанного на использовании МПК, состояла в извлечении из полнотекстовых описаний патентов ключевых технических данных, их последующей обработки и визуализации в форме информационной матрицы отношений. По мнению авторов, эта матрица позволяет выявить техническую информацию, которая в явном виде не используется в патенте, но может быть использована для оценки перспектив развития данного направления.

В обзоре [14] рассматриваются интерактивные методы анализа и визуализации патентов и научных статей. Решению задачи извлечения скрытых

данных из неструктурированных текстов, к которым могут относиться патенты, публикации, отчеты, документы, информация в Интернете и т.д., посвящена работа [15], использующая инструменты интеллектуального анализа текста и классификации текста.

Поскольку основной задачей при текстовом и семантическом анализе является извлечение слов, отражающих суть технического решения, в статье [16] был предложен новый метод автоматического извлечения слов по тематике патента. Утверждается, что полученные результаты могут применяться в патентном анализе, а также для анализа и прогнозирования развития технологий. В работе [17], посвящённой автоматическому извлечению характерных терминов из патентных документов, описывается метод, с помощью которого из нескольких патентных документов, относящихся к определенной области техники, формируется терминология, используемая при анализе технологических тенденций.

Другая разновидность семантического анализа с использованием анализа цитируемых патентов на основе ключевых слов [7] была использована с целью мониторинга внедрения новых технологий. Для этого применялась статистическая мера ТР-ГОБ, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов, а также кластеризация К-средних с использованием цитируемых патентов.

В работе [18] с помощью патентной сети и семантического анализа патентов на основе схемы «субъект-действие-объект» была сделана попытка идентифицировать быстро развивающийся технологический тренд. Авторы статьи предложили новые индикаторы для определения технологической значимости патентов, характеристик патентных кластеров и технологических возможностей конкурентов. Предложенный подход был проиллюстрирован на примере патентов, связанных с синтезом углеродных нанотрубок.

Для отслеживания тенденций, связанных с изменениями технологий, авторами статьи [19] была использована динамическая патентная решетка на основе анализа формальных понятий (БСА), позволяющая проанализировать сложные связи между патентами и эффективно ранжировать патенты по выбросам в сети цитирования. По мнению исследователей, это позволяет устранить ряд недостатков цитатного анализа патентов при оценке технологических возможностей.

В работе [20] для выявления перспективных технологий предлагаются новые методы кластеризации патентов и ранжирования выбросов в сетях цитирования, относящихся к патентам. Эти методы были опробованы с использованием патентов США в области цифровой информации и безопасности. Авторы отмечают, что результаты применения разработанных алгоритмов являются отправной точкой для оценки возможности появления новых технологических областей.

Характерным примером практической реализации патентного анализа является работа [21], в которой рассмотрена эволюция технологии, связанной с разработками электронной кожи (е-8кт). Особенности этой технологии исследуются с точки зрения её жизненного цикла и места среди других

передовых технологий. На основе изучения поведения временного ряда регистрируемых патентов рассчитывается «коэффициент зрелости технологии», даётся прогнозная оценка числа патентов в ближайшем будущем, и предполагаемое время жизни е^кт-технологии. Такой подход, по мнению авторов, может помочь исследователям и специалистам по планированию НИОКТР правильно распределять финансирование и координировать свои дальнейшие исследования и разработки.

Гипотеза, выдвигаемая авторами данной работы, заключается в следующем. Несмотря на то, что целый ряд факторов, характерных для нашей страны (экономические и институционально-технологические условия, уровень международной регистрации и защиты, соотношения по принадлежности патентов (резиденты - нерезиденты, физические - юридические лица) и др.), отличаются от аналогичных в США весьма существенно, выводы технического характера, полученные на основании анализа особенностей временных рядов патентов США, можно с большой долей вероятности распространить на Россию и российские регионы. С одной стороны, существующая технологическая «дистанция» между США и Россией по целому ряду направлений является очевидным показателем отставания в развитии многих отраслей экономики Российской Федерации. Но, с другой стороны, при соответствующем анализе динамики регистрации патентов и сопутствующих библиометрических данных подобный временной «лаг» в патентовании может позволить российской стороне избежать просчётов и финансовых потерь в случае принятия зарубежными «партнёрами» экономических решений, связанных с ошибочными или неверными выводами о перспективности тех или иных технических направлений.

Главная цель данной работы состоит в том, чтобы на основе имеющегося у авторов опыта патентных исследований разработать эмпирическую классификацию технических направлений развития, которая базируется на анализе временных рядов патентов США, а также на использовании Международной патентной классификации.

Научная новизна предлагаемого подхода к патентному анализу заключается в разработке эффективной методики выявления технических решений, которые могут считаться наиболее перспективными в контексте практической реализации либо могут быть отнесены к новым, ранее неизвестным. Наличие такой информации может помочь сориентироваться в многообразии технических решений, описываемых в рамках МПК, как разработчикам новой техники, так и специалистам в области планирования НИОКТР и экономического развития, что позволит им осуществлять краткосрочное или долгосрочное прогнозирование развития конкретных технических (технологических) направлений. Подобная информация поможет своевременно выявлять «прорывные» технические направления, что, в свою очередь, будет способствовать снижению (экономии) материальных и финансовых затрат, а также человеческих ресурсов при решении сложных научно-технических задач путём сосредоточения средств и усилий на наиболее перспективных направлениях и отбрасывании заведомо устаревших и неперспективных.

Описание подхода к классификации

В основе предлагаемого подхода лежит опыт работы авторов в области патентного анализа, связанного, в частности, с изучением особенностей поведения временных рядов патентов на изобретения [22-25]. В работе были использованы данные, полученные в результате автоматизированного формирования временных рядов патентов США с помощью разработанного авторами программного обеспечения [26, 27]. Эти данные включают в себя почти 6,2 млн патентов США на изобретения, зарегистрированных в Патентном ведомстве США (ШРТО) с 1976 по 2018 г. Выбор базы данных иБРТО объясняется тем, что эта организация является по факту не столько национальным, сколько международным ведомством, в котором патентуются все ведущие мировые разработчики. Поэтому выводы, полученные на основе анализа открытых баз Патентного ведомства США, носят, по мнению авторов, обобщающий характер и могут найти широкое практическое применение.

Предлагаемый подход к классификации предусматривает анализ временных рядов патентов США по нескольким десяткам тысяч подгрупп во всех восьми разделах МПК (А, В, С, О, Е, Б, О, Н). Подход основан на автоматизированном формировании трёх основных категорий - условно «прорывных», «перспективных» и «неперспективных», в соответствии с эмпирическими критериями, сформулированными авторами на основе анализа особенностей временных рядов патентов США.

Разбиение подгрупп МПК на кластеры

На первом этапе вся совокупность временных рядов патентов, зарегистрированных иОРТО в 71266 «ненулевых» (т.е. с числом патентов N > 1 в интервале 1976-2018) подгруппах МПК17, была разбита на два кластера. В качестве критерия отнесения конкретной подгруппы к первому или второму кластеру выступал факт превышения числом патентов N,1 некоторого порогового значения. Здесь N,1 - число патентов на изобретения, которые были зарегистрированы в подгруппе в 2018 г.

Выбор этого порогового значения равным 16 ед. был сделан, исходя из предыдущего опыта авторов в области количественного анализа временных рядов патентов США, а также разбиения подгрупп на кластеры по числу патентов, равному 2, где ] = 0,...,14 (16 = 24). Следует отметить, что значение N,1 = 16 оказывается близко к среднегодовому (11 ед.) числу патентов США в 8 110 подгруппах раздела О («Физика») и 8 848 подгруппах раздела Н («Электричество») МПК 7, зарегистрированных ШРТО с 1976 по 2018 г.

Таким образом, к первому кластеру были отнесены все подгруппы МПК, в которых в 2018 г. было выдано больше 16 патентов, а ко второму -условно «неперспективному» - все подгруппы с N,1 < 16. В табл. 1 приведены сводные данные по числу подгрупп во всех восьми разделах Международной патентной классификации.

Таблица 1. Число «ненулевых» подгрупп в разделах МПК

Число «ненулевых» подгрупп в разделе Кластер 1 Кластер 2

Раздел МПК17 число подгрупп с N,1 > 16 число подгрупп с N,1 < 16

А («Удовлетворение жизненных потребностей человека») 8 844 2 127 6 717

Б («Различные технологические процессы; транспортирование») 16 167 2 555 13 612

С («Химия; металлургия») 14 463 1 923 12 540

Б («Текстиль; бумага») 2 800 106 2 694

Е («Строительство; горное дело») 3 321 478 2 843

Е («Машиностроение; освещение; отопление; двигатели и насосы; 8 714 1 626 7 088

оружие и боеприпасы; взрывные работы»)

О («Физика») 8 110 2 290 5 820

Н («Электричество») 8 722 3 091 5 757

Классификация «неперспективных» подгрупп МПК

Подробный анализ «неперспективных» подгрупп МПК не являлся целью данной работы. Тем не менее в отношении них была проведена дополнительная условная классификация. В её основе лежит понятие «время жизни» изобретения. Поскольку подавляющее большинство технических решений со временем устаревает, то актуальным «временем жизни» изобретения принято считать период от 7 до 10 лет. Таким образом, исходя из 10-летнего временного интервала - одного из стандартных интервалов глубины патентного поиска, «неперспективные» подгруппы, составляющие второй кластер, были разбиты на три подкатегории (табл. 2):

- «неперспективные-1» - подгруппы, в которых общее число патентов #рк10, выданных с 2009 по 2018 г., больше 16;

- «неперспективные-2» - подгруппы, в которых общее число патентов N^10, выданных с 2009 по 2018 г., меньше или равно 16;

- «неперспективные-3» - подгруппы, в которых за последние 10 лет (2009-2018) не было выдано ни одного патента (N¡,¡¡10 = 0).

Из табл. 2 следует, что наибольшее количество «неперспективных» подгрупп относительно общего числа имеется в разделе Б («Текстиль; бумага») - 96,2%, а наименьшее - в разделах Н («Электричество») и О («Физика») - 65,1 и 71,8% соответственно.

Из трёх подкатегорий наиболее однозначной с точки зрения перспектив использования запатентованных технических решений является условная подкатегория «неперспективные-3», которая характеризуется полным отсутствием патентов, зарегистрированных в интервале 2009-2018 гг. На рис. 1 приведён характерный временной ряд, иллюстрирующий динамику выдачи патентов США в подгруппе Б67Б5/02 из подкатегории «не-перспективные-3».

Таблица 2. Условная классификация «неперспективных» подгрупп

Раздел МПК17 «Неперспектив-ные-1», ед.

А 2 631

В 5 053

С 4 583

Б 474

Е 1 057

Б 2 642

О 2 139

Н 2 331

Рис. 1. Патенты США в подгруппе В67Б5/02

На практике отсутствие в какой-либо подгруппе хотя бы одного зарегистрированного патента в течение 10 лет свидетельствует о том, что данное техническое направление, вероятнее всего, утратило свою актуальность. Другим объяснением отсутствия патентов в подгруппе может быть то, что данная рубрика МПК была полностью аннулирована в последующих редакциях Международной патентной классификации, либо её содержание перенесено в другую подгруппу. Тем не менее встречаются примеры подгрупп МПК, в которых патентование возобновлялось после длительного «перерыва» (рис. 2), что может быть объяснено появлением новых решений и возможностей для данного технического направления.

Рис. 2. Патенты США в подгруппе Н01Ю/422

Рис. 3. Патенты США в подгруппе Б05С15/18

Рис. 4. Патенты США в подгруппе Е05Б15/00

Рис. 5. Патенты США в подгруппе Б02О3/00

Менее однозначной является подкатегория «неперспективные-2» с числом #р510 < 16. Однако при всех вариациях временных рядов в интервале 1976-2008 гг. общими для подгрупп этой подкатегории с 2009 по 2018 г. во

всех разделах МПК (А - Н) является среднее число патентов в подгруппах, изменяющееся от 5 до 6, а также явно выраженная тенденция к росту числа патентов начиная с 2014 г. (см., например, рис. 3).

Наиболее неоднозначной и, возможно, требующей дополнительного анализа и уточнения является подкатегория подгрупп МПК - «неперспек-тивные-1». Некоторые примеры временных рядов для этой категории из разделов Е и Б приведены на рис. 4-6.

Рис. 6. Патенты США в подгруппе Е2412/46

Классификация «прорывных» подгрупп МПК

Основная цель данной работы состояла в анализе первого кластера подгрупп МПК, в которых число патентов США, выданных в 2018 г., было больше 16 ед., а именно в автоматическом разбиении этих подгрупп на две условные категории: «прорывные» и «перспективные».

Под «прорывными» будем понимать такие подгруппы МПК, в которых регистрация патентов происходила лишь последние три года (2016-2018), а сам временной ряд характеризуется постоянно растущим трендом. Другими словами, для выявления «прорывных» подгрупп использовалась совокупность двух эмпирических критериев: Я3 = 0 и е 4.. .5. Первый параметр Я3 является отношением двух величин

Кз = ^40/^з

где N»40 - суммарное число патентов в подгруппе за 40 лет - с 1976 по 2015 г., а - суммарное число патентов в подгруппе за последние 3 года (2016-2018).

Второй численный параметр К. отражает тенденцию роста числа патентов за последние 5 лет:

К.=£ к

где

К. =

г =1

Nр, - Nр(,+1) > 0 Nр, - Nр(,+1) < 0

К. е

Здесь N¡,1 - число патентов в 2018 г., Np2 - число патентов в 2017 г.; ... - число патентов в 2013 г. Очевидно, что параметр К^ изменяется в пределах от 0 (в случае, когда число патентов в подгруппе с каждым годом уменьшается) до 5 (в случае наличия постоянно растущего тренда).

Результаты поиска «прорывных» подгрупп, для которых условия Я3 = 0 и К. е 4.5 выполняются одновременно, а также общая численность патентов США в разделах МПК и выявленных подгруппах, приведены в табл. 3.

Из приведённых данных следует, что в разделах С («Химия; металлургия») и Б («Текстиль; бумага») «прорывные» подгруппы при заданных критериях поиска отсутствуют. Наибольшее число «прорывных» подгрупп -196 и, соответственно, зарегистрированных патентов - 13 498 ед. выявлено в разделе Н («Электричество»). Примерно в полтора раза меньшее количество «прорывных» подгрупп выявлено в разделах О, Б и А. Причём раздел О («Физика») по количеству патентов незначительно отличается от раздела Н при заметно меньшем числе «прорывных» подгрупп. Что касается разделов В и С, то по числу «прорывных» подгрупп они более чем в 2 раза уступают разделу О, а по числу патентов - более чем в 4 раза.

Таблица 3. Число «прорывных» подгрупп и общее число патентов

Раздел МПК17 Число «прорывных» подгрупп в разделе МПК Общее число патентов США в разделе без дубликатов

А 125 990 708 8 563

В 58 1 170 013 2 810

С 56 879 866 1 879

Б 0 84 994 0

Е 0 210 404 0

Б 112 594 409 3 815

О 128 1 904 160 11 871

Н 196 1 687 603 13 493

Ниже приведены характерные примеры «прорывных» подгрупп МПК: А61В90/00 (рис. 7), 006Б8/41 (рис. 8), И02150/10 (рис. 9), H04W4/80 (рис. 10). За 3 года - с 2016 по 2018 г. - в них было зарегистрировано 2 887, 226, 711 и 1 087 патентов США, соответственно. Следует отметить, что примеры на рис. 8 и 10 относятся к случаям вновь созданных рубрик, которых не существовало в предшествующих редакциях МПК.

Рис. 7. Подгруппа А61В90/00

Рис. 8. Подгруппа 006Е8/41

Рис. 9. Подгруппа НШ50/10

Число патентов США, выданных с 19/6 по 2018 гг

1200

10ОО

600

400

200

Рис. 10. Подгруппа Н04Ш4/80

Очевидно, что подгруппа H04W4/80 (рис. 10) с полным основанием может считаться «прорывной», поскольку 1 087 патентов, зарегистрированных в течение одного года, однозначно подтверждают появление большого числа новых технических решений в данном направлении, демонстрируя некий технологический «рывок» или «прорыв».

Несмотря на то, что «прорывные» подгруппы могут отличаться друг от друга по общему числу патентов больше, чем на два порядка, как в случае раздела А (например, 2 887 ед. в подгруппе А61В90/00 и 18 ед. в подгруппе А01Н6/82), дополнительная классификация «прорывных» подгрупп по аналогии с «неперспективными» в данной работе не проводилась. В качестве подтверждения её нецелесообразности может служить подгруппа Б2412/46 (рис. 6), в которой в 2016 г. было зарегистрировано всего 6 патентов США, а в следующем 2017-м - уже 1 286.

Классификация «перспективных» подгрупп МПК

Отметим, что «прорывные» подгруппы, выделенные из кластера с Агр810 > 16, являются лишь частью этого кластера. При этом число оставшихся подгрупп изменяется от нескольких сотен до нескольких тысяч (табл. 4). В это число вместе с «прорывными» входит упомянутая выше условная категория «перспективных» подгрупп.

Под «перспективными» будем понимать такие подгруппы МПК, для которых временные ряды патентов характеризуется устойчивым растущим трендом на интервале последних десяти лет, т.е. с 2009 по 2018 г. В рамках развиваемого авторами эмпирического подхода к классификации, основанного на анализе временных рядов патентов США, «перспективные» подгруппы МПК были разбиты на следующие условные подкатегории:

- «перспективные-1» («растущий тренд последние 5 лет»);

- «перспективные-2» («растущий тренд в течение 5 и более лет»);

- «перспективные-3» (растущий тренд, предыстория-1)»;

- «перспективные-4» (растущий тренд, предыстория-2)»;

- «перспективные-5» (растущий тренд, предыстория-3)».

Таблица 4. Общее распределение числа подгрупп в разделах МПК

Раздел МПК17 Общее число «ненулевых» подгрупп Число «неперспективных» подгрупп Число «прорывных» подгрупп Число оставшихся подгрупп

А 8844 6717 125 2002

В 16167 13612 58 2497

С 14463 12539 56 1868

Б 2800 2694 0 106

Е 3321 2843 0 478

Е 8714 7088 112 1514

О 8110 5820 128 2162

Н 8722 5757 196 2769

Для выявления подгрупп подкатегории «перспективные-1» были сформулированы следующие эмпирические критерии:

^ю/^АИ > 0,9; Я12 = 0; К^ е 4.5, где Лгряю - суммарное число патентов в подгруппе за последние 10 лет (2009-2018); #Аи - общее число патентов в подгруппе с 1976 по 2018 г.;

Я12 - отношение числа патентов в подгруппе за предыдущие 5 лет к числу патентов за последние 5 лет;

Я12 =

N 2.

р85

N1

р85

где N1^ - суммарное число патентов в подгруппе за последние 5 лет (2014-2018); N2^ - суммарное число патентов в подгруппе за предыдущие 5 лет (2009-2013).

Таким образом, в данную категорию попадают подгруппы с постоянно растущим трендом на протяжении последних 5 лет, в которых большая часть всех выданных патентов США (более 90%) зарегистрирована в интервале 2009-2018 гг., что в случае категории «перспективные-1» соответствует периоду с 2014 по 2018 г. (см. пример на рис. 11).

Рис. 11. Подгруппа С09Б11/52 из категории «перспективные-1»

Для подгрупп подкатегории «перспективные-2» критерии поиска были заданы следующим образом:

> 0,9; 0 < Я12 <0,3; К* е 4...5.

В этом случае требование равенства Я12 нулю было снято; вместо него был задан интервал изменения от 0 до 0,3 (см. пример на рис. 12).

В отличие от первых двух подкатегорий «перспективных» подгрупп МПК, подгруппы «перспективные-3», «перспективные-4» и «перспективные-5» характеризуются некоторой «предысторией» регистрации патентов с 1976 по 2008 г.

Рис. 12. Подгруппа Е21В10/567 из категории «перспективные-2»

Рис. 13. Подгруппа 001С21/20 из категории «перспективные-3».

Друг от друга они отличаются степенью «интенсивности» этой «предыстории». Ниже представлены критерии поиска указанных подгрупп:

N^/N^1 < 0,9; 0 < Я12 <1,0; К* е 4.5; 0 <Я3 < 1

N^/N^1 < 0,9; 0 < Я12 <1,0; К* е 4.5; 1 < Я3 < 3

N^/N^1 < 0,9; 0 < Я12 <1,0; К* е 4.5; 3 < Я3 < 6

Так, для всех трёх подгрупп было снято ограничение на соотношение между числом патентов, выданных за 10 лет, к общему числу патентов в подгруппе. Отличие между критериями заключается лишь в пределах изменения параметра Я3. Примеры характерных подгрупп «перспективные-3», «перспективные-4» и «перспективные-5» приведены на рис. 13-15.

Рис. 14. Подгруппа 001Л/44 из категории «перспективные-4».

Рис. 15. Подгруппа Н05К7/20 из категории «перспективные-5»

Подгруппы МПК: категория «другие»

Кроме двух категорий «прорывные» и «перспективные», классифицируемых в рамках подгрупп с растущим трендом (К$ е 4.5), была выделена категория подгрупп «другие», для которых параметр Я3 > 6. Типичные примеры подгрупп из этой категории показаны на рис. 16, 17.

Рис. 16. Подгруппа А61В10/00 из категории «другие»

Рис. 17. Подгруппа С02Е3/00 из категории «другие»

Необходимо отметить, что поведение временных рядов категории «другие» во всех восьми разделах МПК (А, В, С, Б, Е, Б, О, Н) характеризуются большой изменчивостью. При этом среди них встречаются подгруппы, которые в силу выбранных критериев классификации (учитывающих динамику выдачи патентов США на всём интервале с 1976 по 2018 г.) не вошли в ту или иную подкатегорию «перспективные», но могут быть отнесены к ним, при условии анализа динамики лишь на интервале 2009-2018 гг.

Подгруппы МПК: категория «вне классификации»

Недостатком любых эмпирических критериев классификации, включая предложенную в данной работе, является то, что они не могут описать всю совокупность классифицируемых объектов. Поскольку в качестве одного из критериев поиска характерных подгрупп с тенденцией роста использовался параметр е 4.5, то из общего числа «ненулевых» подгрупп с N>1 > 16 «выпали» подгруппы, у которых этот параметр изменялся от 0 до 3.

Поэтому в рамках описываемого подхода к анализу подгрупп МПК вводится условная категория «вне классификации». Примеры шести подгрупп из этой категории показаны на рис. 18-23.

Приведённые примеры показывают, что временные ряды «вне классификации» по аналогии с категорией «другие» также характеризуются большой изменчивостью. При этом среди них точно так же встречаются подгруппы, которые могут быть отнесены к категории «перспективные» при условии более подробного анализа динамики выдачи патентов только на интервале 2009-2018 гг.

В результате проведённого авторами анализа 13 522 подгрупп в восьми разделах МПК была получена сводная информация о числе подгрупп в категориях «перспективные», «другие» и «вне классификации» (табл. 5, 6).

Рис. 18. Подгруппа А0Ш43/00

Рис. 19. Подгруппа Е02В15/04

Рис. 20. Подгруппа Е0Ш1/00

Рис. 21. Подгруппа Е02В53/00

Рис. 22. Подгруппа 001В7/00

Рис. 23. Подгруппа Н0П37/00 Таблица 5. Число подгрупп МПК в категории «перспективные»

Раздел МПК17 Число подгрупп в категории «перспективные» Всего

«перспек-тивные-1» «перспек-тивные-2» «перспек-тивные-3» «перспек-тивные-4» «перспек-тивные-5»

А 109 71 125 614 297 1216

В 54 105 154 623 453 1389

С 18 32 94 468 369 981

Б 8 3 8 26 20 65

Е 18 4 12 139 102 275

Б 30 27 118 523 281 979

О 127 131 137 544 281 1220

Н 441 284 189 540 245 1699

Таблица 6. Число подгрупп МПК в категориях «другие» и «вне классификации»

Раздел МПК17 Число подгрупп в категориях

«другие» «вне классификации»

А 85 701

В 190 918

С 181 706

Б 11 30

Е 46 157

Е 106 429

О 107 835

Н 111 1085

Несмотря на количественные различия, общим для категории «перспективные» во всех разделах МПК является то, что наибольшее число подгрупп выявлено в подкатегориях «перспективные-4» и «перспективные-5». При этом больше всего (1 699) «перспективных» подгрупп содержит раздел Н, а наименьшее (65) - раздел Б. В свою очередь, наибольшее число подгрупп в категории «другие» и «вне классификации» выявлено в разделах МПК В (190) и Н (1 085) соответственно.

Выводы

Предложенная авторами эмпирическая классификация подгрупп МПК17 в рамках нескольких категорий («неперспективные», «прорывные», «перспективные», «другие», «вне классификации») основана на анализе 71 266 временных рядов патентов США, зарегистрированных с 1976 по 2018 г. Эта классификация позволяет дать объективную оценку перспектив развития конкретных технических (технологических) направлений, которые могут быть охарактеризованы в рамках одной или нескольких рубрик МПК.

Очевидно, что наибольший практический интерес с точки зрения своевременного выявления новых, ранее неизвестных, технологий или решений в технической области, или устойчиво растущих технологических трендов, представляют две категории подгрупп: «прорывные» и «перспективные».

Описанный подход к автоматическому разбиению всей совокупности подгрупп Международной патентной классификации на характерные категории основан на эмпирических критериях и не является идеальным. Так, например, временные ряды подгрупп в категориях «перспективные-4», «перспективные-5», «другие» и «вне классификации» требуют более тщательного анализа, в том числе с привлечением экспертов - специалистов в конкретной области. Впоследствии возможно уточнение итоговых количественных результатов данной классификации.

На основании данных о 71 266 «ненулевых» подгруппах в восьми разделах МПК17, полученных в ходе работы, были сформированы 86 р^-сборников общим объемом около 12 000 страниц А4 формата с иллюстративным материалом, содержащим временные ряды всех рассмотренных категорий («неперспективные», «прорывные», «перспективные», «другие»,

«вне классификации»). Этот иллюстративный материал, включая созданную базу данных, может оказаться полезным для разработчиков, исследователей и специалистов по планированию НИОКР при решении сложных научно-технических задач, а также в ходе работ, связанных с формированием краткосрочных (2-3 года) и (или) долгосрочных прогнозных оценок развития конкретных технических (технологических) направлений.

Кроме того, представляется возможным использовать результаты, полученные в данной работе, для построения патентных ландшафтов, а также в качестве исходной информации для проведения семантического анализа текстов, анализа цитируемых патентов на основе ключевых слов, кластеризации патентов, ранжирования выбросов в сетях цитирования и т.п.

Литература

1. Ruotsalainen L. Data Mining Tools for Technology and Competitive Intelligence. VTT Tiedotteita - Research Notes 2451. Espoo 2008. 63 p.

2. Кортов С.В., Шульгин Д.Б., Толмачев Д.Е., Егармина А.Д. Анализ технологических трендов на основе построения патентных ландшафтов // Экономика региона. 2017. Т. 13, вып. 3. С. 935-947.

3. Liu Z., Jia Z., Vong C.-M., Han J., Yan C., Pecht M. A patent analysis of prognostics and health management (PHM) innovations for electrical systems // IEEE Access. 2018. Vol. 6. Р. 18088-18107.

4. Kim D., Lee B., Lee H.J., Lee S.P., Moon Y., JeongM.K. Automated detection of influential patents using singular values // IEEE Transactions on Automation Science and Engineering. 2012. Vol. 9, is. 4. Р. 723-733.

5. Duan H., Li M., You H., Chen F., Jiang J., Wang Q. Tendency determining of knowledge-transfer evolution based on patent citation network // 13th International Conference on Natural Computation. Fuzzy Systems and Knowledge Discovery (ICNC-FSKD), 2017. Р. 1757-1763. DOI: 10.1109/ICE/ITMC39735.2016.9025846

6. HaoX., Xie N., Sun W. Analyzing technology development trend based on patent data // 3rd International Conference on Systems and Informatics (ICSAI). 2016. Р. 1056-1061. DOI: 10.1109/ICSAI.2016.7811107

7. Nam S., Kim K. Monitoring Newly Adopted Technologies Using Keyword Based Analysis of Cited Patents // IEEE Access. 2017. Vol. 5. Р. 23086-23091. DOI: 10.1109/ACCESS.2017.2764478

8. Seo W., Kim N., Choi S. Big Data Framework for Analyzing Patents to Support Strategic R&D Planning // IEEE 14th Intl Conf on Dependable, Autonomic and Secure Computing, 14th Intl Conf on Pervasive Intelligence and Computing, 2nd Intl Conf on Big Data Intelligence and Computing and Cyber Science and Technology Con-gress(DASC/PiCom/DataCom/CyberSciTech). 2016. Р. 746-753. DOI: 10.1109/DASC-PICom-DataCom-CyberSciTec.2016.131

9. Gui B., Liu Y., Bai X., Zhang J. Longitudinal Patent Analysis for Big Data Technology. // Portland International Conference on Management of Engineering and Technology (PIC-MET). 2017. Р. 1-8. DOI: 10.23919/PICMET.2017.8125461

10. Shin J., Lee S., Wang T. Semantic Patent Analysis System Based on Big Data // IEEE 11th International Conference on Semantic Computing (ICSC). 2017. Р. 284-285. DOI: 10.1109/ICSC.2017.20

11. Sun B., Wang H. Comparative study on chinese and global OLED industry based on patent data // IEEE Access. 2018. Vol. 6. Р. 72381-72391.

12. Li X., Xie Q., Huang L. Identifying the Development Trends of Emerging Technologies Using Patent Analysis and Web News Data Mining: The Case of Perovskite Solar Cell

Technology // IEEE Transactions on Engineering Management. 2019. № 99. Р. 1-16. DOI: 10.1109/TEM.2019.2949124

13. Ki W., Kim K. Generating information relation matrix using semantic patent mining for technology planning: a case of nano-sensor // IEEE Access. 2017. Vol. 5. Р. 2678326797.

14. Alksher M.A., Azman A., Yaakob R., Kadir R.A., Mohamed A., Alshari E.M. A review of methods for mining idea from text // Third International Conference on Information Retrieval and Knowledge Management (CAMP). 2016. Р. 88-93. DOI: 10.1109/ IN-FRKM.2016.7806341

15. Zhu L., Lu X., Xu L. Patent Subject Words Extraction Based on Integrated Strategy Method // 15th International Symposium on Parallel and Distributed Computing (ISPDC). 2016. Р. 401-405. DOI: 10.1109/ISPDC.2016.68

16. Takano K., Tanaka M., Sakai H., Kitajima R., Ota T., Tanabe C., Sakaji H. Extraction of Characteristic Terms from Patent Documents for Technical Trend Analysis // 8th International Congress on Advanced Applied Informatics (IIAI-AAI). 2019. Р. 667-672. DOI: 10.1109/IIAI-AAI.2019.00138

17. Авдзейко В.И., Карнышев В.И., Мещеряков Р.В., Паскаль Е.С. Патентный анализ: выявление перспективных направлений развития радиоэлектронных систем, использующих отражение и вторичное излучение радиоволн // Радиопромышленность. 2019. Т. 29, № 1. С. 53-61.

18. Yoon J., Kim K. Identifying rapidly evolving technological trends for R&D planning using SAO-based semantic patent networks // Scientometrics. 2011. Vol. 88, № 1. Р. 213228.

19. Lee C., Jeon J., Park Y. Monitoring trends of technological changes based on the dynamic patent lattice: A modified formal concept analysis approach // Technological Forecasting Social Change. 2011. Vol. 78, № 4. Р. 690-702.

20. Rodriguez A., Ali T., Kim B., Choi J., Lee J.-M., Coh B.-Y., Jeong M.K. Patent clustering and outlier ranking methodologies for attributed patent citation networks for technology opportunity discovery // IEEE Transactions on Engineering Management. 2016.Vol. 63, iss. 4. Р. 426-437.

21. Yoon J., Jeong B., Lee W.H., Kim J. Tracing the evolving trends in electronic skin (e-Skin) technology using growth curve and technology position-based patent bibliometrics // IEEE Access. 2018. Vol. 6. Р 26530-26542.

22. Авдзейко В.И., Карнышев В.И., Мещеряков Р.В. Патентный анализ. Выявление перспективных и прорывных технологий // Вопросы инновационной экономики. Январь-март 2018. Т. 8, № 1. С. 79-90. ISSN 2222-0372 (Russian Journal of Innovation Economics).

23. Авдзейко В.И., Карнышев В.И., Мещеряков Р.В. Прогнозирование направлений развития силовой электроники на основе временных рядов по данным Международной патентной классификации // Электротехнические и информационные комплексы и системы. 2016. Т. 12, № 2. С. 23-28.

24. Авдзейко В.И., Карнышев В.И., Мещеряков Р.В., Шелупанов А.А., Парнюк Л.В. Анализ динамики выдачи патентов для выявления перспективных направлений развития в области силовой электроники // Вестник Томского государственного университета. 2015. № 394. С. 159-169.

25. Паскаль Е.С., Авдзейко В.И., Захаров Ф.Н., Мещеряков А.А., Карнышев В.И., Парнюк Л.В. Программа формирования баз данных описаний патентов США в подгруппах МПК G01S13/00, G01S15/00, G01S17/00 // Свидетельство о регистрации ПрЭВМ № 2018662422. Зарегистрировано в Реестре программ для ЭВМ 08.10.2018 г. Заявка № 2018619965 от 17.09.2018.

26. Паскаль Е.С., Авдзейко В.И., Захаров Ф.Н., Мещеряков А.А., Карнышев В.И., Парнюк Л.В. Программа автоматической генерации временных рядов патентов США в интервале 1976-2017. Свидетельство о регистрации ПрЭВМ № 2018662921. Зареги-

стрировано в Реестре программ для ЭВМ 17.10.2018 г. Заявка № 2018619897 от 17.09.2018.

Classification of Technological Development Trends Based on the Analysis of US Patent Time Series. An Empirical Approach

Vestnik Tomskogo gosudarstvennogo universiteta. Ekonomika - Tomsk State University Journal of Economics. 2021. 53. pp. 251-278. DOI: 10.17223/19988648/53/18 Vladimir I. Karnyshev, Tomsk State University of Control Systems and Radioelectronics (Tomsk, Russian Federation). E-mail: karnychev@yandex.ru

Vladimir I. Avdzeyko, Tomsk State University of Control Systems and Radioelectronics (Tomsk, Russian Federation). E-mail: avdzeykovi@yandex.ru

Evgenia S. Paskal, Tomsk State University of Control Systems and Radioelectronics (Tomsk, Russian Federation). E-mail: evgeniapascal@gmail.com

Keywords: patent analysis, IPC, US patents, USPTO, empirical approach, automatic classification, technological trends, forecasting, R&D planning, investments, economy progress.

The forecasting of development trends and the timely revealing of new technical (technological) fields are the key prerequisite for an effective development of modern economy. Only reliable results of technological analysis (forecast) allow identifying new technologies, understanding the evolution of entire industries, carrying out strategic investment planning at the state level, and also planning R&D correctly. The aim of this work is to justify one of the possible approaches to the classification of technical (technological) fields in terms of assessing their relevance, novelty and short-term prospects. This approach is based on patent analysis, in particular, on the study of the time series features of US invention patents (1976-2018) for more than seventy-three thousand main groups (subgroups) of the 17th edition of the International Patent Classification (IPC17). The United States Patent and Trademark Office (USPTO) has been selected as the primary source of information because it is one of the world's largest and constantly updated patent resources, providing direct access to full-text descriptions. In the authors' opinion, a feature analysis of the US patent issue dynamics at time intervals (1976-2015, 2009-2018 and 2016-2018) allows dividing the IPC groups (subgroups) into the following three main clusters: "unpromising", "promising" and "breakthrough". In terms of the timely revealing of new, previously unknown, technologies or solutions in the technical field, or of the steadily growing technological trends, the "breakthrough" and "promising" subgroups are of the greatest practical interest. The article presents the results of an empirical classification of 71,266 subgroups (with a non-zero number of the issued patents since 1976 to 2018) in eight sections of the IPC17. These data may be useful for developers, researchers and R&D planners in solving complex scientific and technical problems, as well as for making short-term forecast estimates of a specific technical (technological) field development.

References

1. Ruotsalainen, L. (2008) Data Mining Tools for Technology and Competitive Intelligence. VTT Tiedotteita - Research Notes 2451. Espoo 2008.

2. Kortov, S.V., Shul'gin, D.B., Tolmachev, D.E. & Egarmina, A.D. (2017) Technology Trends Analysis Using Patent Landscaping. Ekonomika regiona - Economy of Region. 13 (3). pp. 935-947. (In Russian). DOI: 10.17059/2017-3-24

3. Liu, Z. et al. (2018) A patent analysis of prognostics and health management (PHM) innovations for electrical systems. IEEE Access. 6. pp. 18088-18107.

4. Kim, D. et al. (2012) Automated detection of influential patents using singular values. IEEE Transactions on Automation Science and Engineering. 9 (4). pp. 723-733.

5. Duan, H., et al. (2017) Tendency determining of knowledge-transfer evolution based on patent citation network. 13th International Conference on Natural Computation. Fuzzy

Systems and Knowledge Discovery (ICNC-FSKD). pp. 1757-1763. DOI: 10.1109/ICE/ITMC39735.2016.9025846

6. Hao, X., Xie, N. & Sun, W. (2016) Analyzing technology development trend based on patent data. 3rd International Conference on Systems and Informatics (ICSAI). pp. 10561061. DOI: 10.1109/ICSAI.2016.7811107

7. Nam, S. & Kim, K. (2017) Monitoring Newly Adopted Technologies Using Keyword Based Analysis of Cited Patents. IEEE Access. 5. pp. 23086-23091. DOI: 10.1109/ACCESS.2017.2764478

8. Seo, W., Kim, N. & Choi, S. (2016) Big Data Framework for Analyzing Patents to Support Strategic R&D Planning. IEEE 14th Intl Conf on Dependable, Autonomic and Secure Computing, 14th Intl Conf on Pervasive Intelligence and Computing, 2nd Intl Conf on Big Data Intelligence and Computing and Cyber Science and Technology Congress (DASC/PiCom/DataCom/CyberSciTech). pp. 746-753. DOI: 10.1109/DASC-PICom-DataCom-CyberSciTec.2016.131

9. Gui, B., Liu, Y., Bai, X. & Zhang, J. (2017) Longitudinal Patent Analysis for Big Data Technology. Portland International Conference on Management of Engineering and Technology (PICMET). pp. 1-8. DOI: 10.23919/PICMET.2017.8125461

10. Shin, J., Lee, S. & Wang, T. (2017) Semantic Patent Analysis System Based on Big Data. IEEE 11th International Conference on Semantic Computing (ICSC). pp. 284-285. DOI: 10.1109/ICSC.2017.20

11. Sun, B. & Wang, H. (2018) Comparative study on chinese and global OLED industry based on patent data. IEEE Access. 6. pp. 72381-72391.

12. Li, X., Xie, Q. & Huang, L. (2019) Identifying the Development Trends of Emerging Technologies Using Patent Analysis and Web News Data Mining: The Case of Perovskite Solar Cell Technology. IEEE Transactions on Engineering Management. 99. pp. 1-16. DOI: 10.1109/TEM.2019.2949124

13. Ki, W. & Kim, K. (2017) Generating information relation matrix using semantic patent mining for technology planning: a case of nano-sensor. IEEE Access. 5. pp. 2678326797.

14. Alksher, M.A. et al. (2016) A review of methods for mining idea from text. Third International Conference on Information Retrieval and Knowledge Management (CAMP). pp. 88-93. DOI: 10.1109/ INFRKM.2016.7806341

15. Zhu, L., Lu, X. & Xu, L. (2016) Patent Subject Words Extraction Based on Integrated Strategy Method. 15th International Symposium on Parallel and Distributed Computing (ISPDC). pp. 401-405. DOI: 10.1109/ISPDC.2016.68

16. Takano, K. et al. (2019) Extraction of Characteristic Terms from Patent Documents for Technical Trend Analysis. 8th International Congress on Advanced Applied Informatics (IIAI-AAI). pp. 667-672. DOI: 10.1109/IIAI-AAI.2019.00138

17. Avdzeyko, V.I. et al. (2019) Patent analysis: revealing the promising trends in the advancement of radio electronic systems using the reflection or reradiation of radio waves. Radiopromyshlennost' - Radio industry. 29 (1). pp. 53-61. (In Russian). DOI: 10.21778/2413-9599-2019-29-1-53-60

18. Yoon, J. & Kim, K. (2011) Identifying rapidly evolving technological trends for R&D planning using SAO-based semantic patent networks. Scientometrics. 88 (1). pp. 213-228.

19. Lee, C., Jeon, J. & Park, Y. (2011) Monitoring trends of technological changes based on the dynamic patent lattice: A modified formal concept analysis approach. Technological Forecasting Social Change. 78 (4). pp. 690-702.

20. Rodriguez, A. et al. (2016) Patent clustering and outlier ranking methodologies for attributed patent citation networks for technology opportunity discovery. IEEE Transactions on Engineering Management. 63 (4). pp. 426-437.

21. Yoon, J., Jeong, B., Lee, W.H. & Kim, J. (2018) Tracing the evolving trends in electronic skin (e-Skin) technology using growth curve and technology position-based patent bibliometrics. IEEE Access. 6. pp. 26530-26542.

22. Avdzeyko, V.I., Karnyshev, V.I. & Meshcheryakov, R.V (2018) Patent analysis. Identification of promising and breakthrough technologies. Voprosy innovatsionnoy ekonomiki - Russian Journal of Innovation Economics. 8 (1). pp. 79-90. (In Russian).

23. Avdzeyko, V.I., Karnyshev, VI. & Meshcheryakov, R.V. (2016) Forecasting of Power Electronics Development Directions Based on International Patent Classification Time Series. Elektrotekhnicheskie i informatsionnye kompleksy i sistemy - Electrical and Data Processing Facilities and Systems. 12 (2). pp. 23-28. (In Russian).

24. Avdzeyko, V.I. et al. (2015) Dynamics patent analysis of development in perspective trends of power electronics. Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal. 394. pp. 159-169. (In Russian). DOI: 10.17223/15617793/394/27

25. Paskal', E.S. et al. (2018) A program for the formation of databases of US patent descriptions in the IPC subgroups G01S13/00, G01S15/00, G01S17/00. Computer program registration certificate No. 2018662422. Registered in the register of Computer Programs on 08.10.2018. Application No. 2018619965 of 17.09.2018.

26. Paskal', E.S. et al. (2018) A program for the automatic generation of time series of US patents in the 1976-2017 interval. Computer program registration certificate No. 2018662921. Registered in the Register of Computer Programs on 17.10.2018. Application No. 2018619897 of 17.09.2018. (In Russian).