Произведение Хатри — Рао

Произведение Хатри — Рао — операция умножения матриц, определяемая выражением:
 

в котором -й блок является произведением Кронекера  соответствующих блоков  и  при условии, что количество строк и столбцов обеих матриц равно.
Размерность произведения — .

К примеру, если матрицы  и  имеют блочную размерность :
  и ,

то:
 .

Столбцовое произведение Хатри — Рао 
Столбцовое произведение Кронекера двух матриц также принято называть произведением Хатри — Рао.
Это произведение предполагает, что блоки матриц являются их столбцами. В этом случае , ,  и для каждого : .
Результатом произведения является -матрица, каждый столбец которой получается как произведение Кронекера соответствующих столбцов матриц  и . Например, для: 
 и 

столбцовое произведение:
 .

Столбцовая версия произведения Хатри — Рао используется в линейной алгебре для аналитической обработки данных и оптимизации решений проблемы обращения диагональных матриц; в 1996 году его было предложено использовать в описании задачи совместного оценивания угла прихода и времени задержки сигналов в цифровой антенной решётке, а также для описания отклика 4-координатного радара.

Торцевое произведение 

Существует альтернативная концепция произведения матриц, которая в отличие от столбцовой версии использует разбиение матриц на строки — торцевое произведение () или транспонированное произведение Хатри — Рао (). Этот тип матричного умножения базируется на построчном произведении Кронекера двух и более матриц с одинаковым количеством строк.
Например, для:
  и 

можно записать:
 .

Основные свойства 
Транспонирование (1996):
,

Коммутативность и ассоциативная операция:'где ,  и  — матрицы, а  — скаляр,

,
где  - вектор с количеством элементов, равным количеству строк матрицы   ,

Свойство смешанного произведения (1997):
, 

,

,

,
где  обозначает произведение Адамара.

Также выполняются следующие свойства:
 ,
 ,
 ,
 ,

 ,
 ,
 , где  и  являются векторами согласованной размерности,
 , ,
 , где  и  являются векторами согласованной размерности (следует из свойств 3 и 8),
 ,
 , 

где  является матрицей дискретного преобразования Фурье,   - символ векторной свёртки (тождество следует из свойств отсчётного скетча),
 , где   -  матрица,  -  матрица,   ,   - векторы из  и  единиц соответственно, 
 , где   является  матрицей,  - произведение Адамара и  - вектор из  единиц.
 , где  - символ проникающего торцевого произведения матриц.

 По аналогии, , где   -  матрица,  -  матрица, 

 ,
 ,
 ,
 , 
 ,

где  - вектор, сформированный из диагональных элементов матрицы ,  - операция формирования вектора из матрицы  путём расположения одного под другим её столбцов.

Свойство поглощения произведения Кронекера:

,
,

где  и  являются векторами согласованной размерности.

Например:
 

Теорема
 Если , где  представляют собой независимые включения  матрицы , содержащей строки , такие, что  и ,
 то  с вероятностью  для любого вектора  , если количество строк
.

В частности, если элементами матрицы  являются числа , можно получить , что при малых значениях  согласуется с предельным значением  леммы Джонсона-Линденштрауса о распределении.

 Блочное торцевое произведение 

Для блочных матриц с одинаковым количеством столбцов в соответствующих блоках:
  и 

согласно определению, блочное торцевое произведение  запишется в виде:

 .

Аналогично, для блочного транспонированного торцевого произведения (или блочного столбцового произведения Хатри — Рао'') двух матриц  с одинаковым количеством столбцов в соответствующих блоках имеет место соотношение:

 .

Выполняется свойство транспонирования:

Приложения 
Семейство торцевых произведений матриц используется в тензорно-матричной теории цифровых антенных решёток для радиотехнических систем.

Торцевое произведение получило широкое распространение в системах машинного обучения, статистической обработке больших данных. Оно позволяет сократить объёмы вычислений при реализации метода уменьшения размерности данных, получившего наименование тензорный скетч, а также быстрого преобразования Джонсона — Линденштрауса. При этом осуществляется переход от исходной проецирующей матрицы к произведению Адамара, оперирующему матрицами меньшей размерности. Погрешность аппроксимации данных большой размерности на основе торцевого произведения матриц соответствует лемме о малом искажении. В указанном контексте идея торцевого произведения может быть использована для решения задачи дифференциальной приватности (). Кроме того, аналогичные вычисления были применены для формирования тензоров совместной встречаемости в задачах обработки естественного языка и построения гиперграфов подобия изображений.

Торцевое произведение применяется для P-сплайн аппроксимации, построения обобщённых линейных моделей массивов данных (GLAM) при их статистической обработке и может быть использовано для эффективной реализации ядерного метода машинного обучения, а также изучения взаимодействия генотипов с окружающей средой.

См. также 
 Тензорный скетч
 Лемма о малом искажении

Примечания

Литература 
 
 
 Matrix Algebra & Its Applications to Statistics & Econometrics./C. R. Rao with M. Bhaskara Rao. — World Scientific. — 1998. — P. 216.

Матрицы