<figure><img src="image_1.png" /></figure>

HAL
open science

# Une approche tensorielle pour entrainer des réseaux de neurones flexibles

Yassine Zniyed, Konstantin Usevich, Sebastian Miron, David Brie

<figure><img src="image_2.png" /></figure>

## To cite this version:

Yassine Zniyed, Konstantin Usevich, Sebastian Miron, David Brie. Une approche tensorielle pour entrainer des réseaux de neurones flexibles. XXVIIIème Colloque Francophone de Traitement du Signal et des Images, GRETSI 2022, Sep 2022, Nancy, France. hal-03921092

HAL Id: hal-03921092

https://hal.science/hal-03921092v1

Submitted on 28 Mar 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_3.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Une approche tensorielle pour entrainer des réseaux de neurones flexibles*

Yassine ZNIYED¹, Konstantin USEVICH², Sebastian MIRON², David BRIE²

¹Université de Toulon, Aix Marseille Université, CNRS, LIS, Toulon, France

²Université de Lorraine, CNRS, CRAN, F-54000 Nancy, France

yassine.zniyed@univ-tln.fr, {konstantin.usevich, sebastian.miron, david.brie}@univ-lorraine.fr

**Résumé** – Dans ce travail, nous nous concentrons sur la compression des réseaux de neurones (RNs), en considérant une approche basée sur les tenseurs. En particulier, nous nous intéressons à l'estimation de fonctions d'activation flexibles à l'aide de solutions basées sur des tenseurs. La méthode proposée est basée sur une factorisation couplée matrice-tenseur (FCMT), fusionnant les informations d'ordre 0 et d'ordre 1 des RNs. L'algorithme d'apprentissage proposé est basé sur une approche contrainte des moindres carrés alternés. Les fonctions d'activation (FAs) sont exprimées sous la forme d'une somme pondérée d'éléments de base prédéfinis. Notre méthode permet de compressor fortement des grandes couches des RNs, avec une très légère dégradation de la précision de la classification. Cela donne également un aperçu du fonctionnement des RNs, qui est un problème du plus haut intérêt dans ce domaine.

**Abstract** – In this work, we focus on the compression of Neural Networks (NNs), considering a tensor-based approach. In particular, we are interested in the estimation of flexible activation functions using tensor-based solutions. The proposed method is based on a coupled matrix-tensor factorization (CMTF), fusing the zeroth and first order information of the NN. The proposed learning algorithm is based on a constrained alternating least squares (ALS) approach. The activation functions (AFs) are expressed as a weighted sum of pre-defined basis elements. Our method allows to strongly compress large NN layers, with a very slight degradation of the classification accuracy. This also provides insights into the functioning of NNs, which is a problem of utmost interest in NN domain.

## 1 Introduction

Les réseaux de neurones (RNs) sont des outils puissants, qui ont la capacité d'apprendre et de modéliser des fonctions non linéaires complexes, tout en montrant de bonnes performances de prédiction. Avant d'entraîner un réseau de neurones, il faut décider (i) combien de neurones et de couches cachées utiliser ? et (ii) quelles fonctions d'activation (FAs) utiliser ? Ces choix contrôlent la capacité d'apprentissage du RN à partir des données. Les architectures des RNs modernes de pointe sont trop volumineuses et comportent de nombreux paramètres. Les exécuter dans des systèmes avec une capacité de calcul limitée est une tâche difficile. Pour cette raison, plusieurs travaux dans la littérature se sont intéressés à la compression de ces modèles.

Les approches tensorielles les plus populaires [1] pour la compression visent principalement à compresser les couches des réseaux convolutifs, qui peuvent être considérés comme des tenseurs. Par une décomposition polyadique canonique (CPD) [2], ils remplacent les convolutions multidimensionnelles par des convolutions unidimensionnelles. Une autre direction de recherche se concentre sur la relation entre les décompositions de tenseurs et les réseaux de neurones avec des unités de produit (au lieu d'unités de sommation) [3]; ce type de représentations est cependant peu utilisé en pratique.

Dans ce travail, nous considérons une approche totalement différente. Tout en conservant la structure traditionnelle du réseau de neurones (poids linéaires + fonctions d'activation non linéaires), nous visons à ajouter de la flexibilité [4] aux FAs, par opposition aux FAs fixes utilisées classiquement. En particulier, les fonctions d'activation peuvent être différentes dans différents nœuds. Une telle architecture est particulièrement intéressante grâce à la théorie de l'identifiabilité (unicité) disponible dans le cas polynomial [5]. Les propriétés d'identifiabilité peuvent donner un aperçu du fonctionnement de ces RNs et aider à renforcer la stabilité de la représentation.

Contrairement aux méthodes existantes pour les FAs flexibles (FAFs) qui utilisent des techniques d'entraînement conventionnelles [4], nous utilisons un cadre original développé dans la communauté d'identification de systèmes non linéaires. Les travaux de [6] ont montré qu'une architecture avec une couche flexible cachée peut être identifiée comme une CPD d'un tenseur jacobien. Cependant, il n'est pas directement applicable dans la configuration d'apprentissage ; en particulier, il n'y a pas de moyen simple d'estimer les fonctions d'activation. Dans ce travail, nous proposons une nouvelle méthode de compression de réseaux de neurones pré-entraînés basée sur la factorisation couplée matrice-tenseur (FCMT). Cette technique fuit les informations d'ordre 0 et 1 du RN, où les informations de premier ordre sont contenues dans un tenseur jacobien,

<footnote>*Travail soutenu par l'ANR LeaFleT (ANR-19-CE23-0021).</footnote>
<figure><img src="image_4.png" /><figcaption>FIGURE 1 – Représentation graphique du bloc de base à une couche du RN flexible.</figcaption></figure>

suivant une CPD contrainte.

Le nouveau RN flexible a des FAs différentes et flexibles dans chaque neurone. Les FAFs sont exprimées sous forme de somme pondérée de fonctions de base prédéfinies. Le but de ce modèle est d'augmenter l'expressivité du modèle pour pouvoir apprendre des fonctions avec un nombre de paramètres inférieur par rapport aux modèles classiques. Ce genre de résultat est susceptible d'accélérer l'exécution des réseaux de neurones et permettra leur utilisation sur des systèmes à faibles ressources de calcul.

## 2 Modèle de FAFs

**Modèle flexible** Le modèle proposé dans ce travail est un RN flexible, où chaque neurone a une FA différente et flexible. Les FAs sont exprimées sous la forme d'une combinaison linéaire de fonctions de base prédéfinies. Une illustration graphique d'un bloc de base à une couche de ce modèle est donnée dans la Figure 1. La fonction multivariée qui représente la relation entrée-sortie est notée $f$. Cette fonction $f: \mathbb{R}^m \to \mathbb{R}^n$ est donnée par :

$$f(\mathbf{u}) = [f_1(\mathbf{u}) \cdots f_n(\mathbf{u})]^\top, \quad \text{with } \mathbf{u} = [u_1 \cdots u_m]^\top. \quad (1)$$

On dit que $f$ admet un modèle RN flexible s'il peut s'exprimer sous la forme :

$$f(\mathbf{u}) = W g(V^\top \mathbf{u}), \quad (2)$$

où $V \in \mathbb{R}^{m \times r}$, $W \in \mathbb{R}^{n \times r}$ sont des matrices de transformation, $v_\ell$ et $w_\ell$, pour $1 \le \ell \le r$, sont respectivement les colonnes de $V$ et $W$, et $g: \mathbb{R}^r \to \mathbb{R}^r$ est exprimée comme

$$g(t_1, \dots, t_r) = [g_1(t_1) \cdots g_r(t_r)]^\top, \quad (3)$$

avec $g_\ell: \mathbb{R} \to \mathbb{R}$ est une fonction non linéaire univariée.

**Fonctions de base** Les fonctions non linéaires univariées $g_\ell$ ($1 \le \ell \le r$) dans (2) sont une combinaison linéaire de fonctions de base prédéfinies $\{\phi_1, \dots, \phi_d\}$ :

$$g_{\ell}(t) = c_{0,\ell} + c_{1,\ell} \phi_{1}(t) + \dots + c_{d,\ell} \phi_{d}(t). \quad (4)$$

Les fonctions $\phi_k$, pour $1 \le k \le d$, dans (4) étant a priori choisies, les paramètres $c_{k,\ell}$, pour $0 \le k \le d$ et $1 \le \ell \le r$, sont les paramètres apprenables.

## 3 Décomposition d'une fonction multi-variée basée sur un tenseur

Représenter une fonction non-linéaire $f$ par une représentation plus simple, telle que (2) a été abordée dans plusieurs travaux, puisqu'elle permet d'approximer la fonction avec un nombre réduit de paramètres et peut donner un aperçu de la compréhension des mécanismes derrière la fonction non linéaire. Ces méthodes supposent que la fonction $f$ est connue à travers une représentation paramétrique polynomiale, et ont été développées dans le contexte du problème de découplage pour les polynômes réels multivariés. L'une de ces méthodes est la méthode jacobienne [6] qui vise à décomposer $f(\mathbf{u})$ selon (2) à partir de son information de premier ordre. Cette approche repose sur l'observation que la matrice jacobienne de $f$, évaluée en un point donné $\mathbf{u}$ s'exprime par

$$\mathcal{J}_f(\mathbf{u}) := \begin{bmatrix} \frac{\partial f_1}{\partial u_1}(\mathbf{u}) & \cdots & \frac{\partial f_1}{\partial u_m}(\mathbf{u}) \\ \vdots & \ddots & \vdots \\ \frac{\partial f_n}{\partial u_1}(\mathbf{u}) & \cdots & \frac{\partial f_n}{\partial u_m}(\mathbf{u}) \end{bmatrix} \\ = W \cdot \text{diag}(g'_1(v_1^\top \mathbf{u}) \cdots g'_r(v_r^\top \mathbf{u})) \cdot V^\top. \quad (6)$$

En empilant les matrices jacobières évaluées en $N$ points d'échantillonnage différents $\mathbf{u}^{(j)} \in \mathbb{R}^m$, pour $1 \le j \le N$, tel que $\mathcal{J}_{:,;,j} = \mathcal{J}_f(\mathbf{u}^{(j)})$, nous construisons un tenseur jacobien d'ordre 3 $\mathcal{J}$ de taille $n \times m \times N$ suivant une CPD exprimée comme

$$\mathcal{J} = \sum_{\ell=1}^{r} w_{\ell} \otimes v_{\ell} \otimes h_{\ell}, \quad (7)$$

où $\otimes$ dénote le produit tensoriel. De manière équivalente, on note $\mathcal{J} = [[W, V, H]]$. Comme montré dans [6, 7], les colonnes de $H \in \mathbb{R}^{N \times r}$ ont la structure suivante

$$h_{\ell} = [g'_{\ell}(v_{\ell}^{\top} u^{(1)}), \dots, g'_{\ell}(v_{\ell}^{\top} u^{(N)})]^{\top}, \quad (8)$$

ce qui montre que le facteur matriciel $H$ dépend de $V$. Il convient de noter que l'approche originale de [6] est assez sensible à la non-unicité de la CPD et au bruit [8, 9], puisqu'une solution ALS relaxée est utilisée pour estimer les facteurs.

Suivant [8, 9], cela peut être attribué au fait que l'algorithmme ne tient pas compte de la structure particulière du tenseur jacobien (8), ie la relation entre les colonnes de $H$ et $V$. Cela devient problématique, en particulier lorsque l'unicité de la CPD est perdue, auquel cas l'ALS relâché ne parviendra pas à récupérer des FAs significatives. Cela a motivé le développement d'algorithmes structurés pour le découplage de polynômes multivariés [8, 9]. De plus, il a été montré dans [7] que la prise en compte de la structure (8) conduit à des conditions d'unicité moins restrictives par rapport au cas non structuré, élargissant ainsi le domaine d'application de la méthode.

## 4 Problème d'apprentissage

Pour surmonter les inconvénients susmentionnés des méthodes existantes, nous proposons dans cette section un algorithme
pour la CPD structurée du tenseur jacobien. Il consiste à formuler la CPD structurée comme une factorisation couplée matricetenseur contrainte, utilisant conjointement les informations d'ordre 0 et 1.

**Information d'ordre 0** Soit $\mathbf{F}$ une matrice de taille $n \times N$ dont les lignes sont les évaluations des $n$ sorties du sous-réseau d'origine à $N$ points d'échantillonnage différents $\mathbf{u}^{(j)} \in \mathbb{R}^m$ :

$$ \mathbf{F} = \begin{bmatrix} f_1(\mathbf{u}^{(1)}) & \cdots & f_1(\mathbf{u}^{(N)}) \\ \vdots & \ddots & \vdots \\ f_n(\mathbf{u}^{(1)}) & \cdots & f_n(\mathbf{u}^{(N)}) \end{bmatrix}. \quad (9) $$

En se basant sur (9) et (2), nous pouvons voir que $\mathbf{F}$ est sujet à une factorisation donnée par

$$ \mathbf{F} = \begin{bmatrix} f_1(\mathbf{u}^{(1)}) & \cdots & f_1(\mathbf{u}^{(N)}) \\ \vdots & \ddots & \vdots \\ f_n(\mathbf{u}^{(1)}) & \cdots & f_n(\mathbf{u}^{(N)}) \end{bmatrix} \quad (10) $$

$$ = \mathbf{W} \cdot \underbrace{\begin{bmatrix} g_1(\mathbf{v}_1^\top \mathbf{u}^{(1)}) & \cdots & g_1(\mathbf{v}_r^\top \mathbf{u}^{(N)}) \\ \vdots & \ddots & \vdots \\ g_r(\mathbf{v}_1^\top \mathbf{u}^{(1)}) & \cdots & g_r(\mathbf{v}_r^\top \mathbf{u}^{(N)}) \end{bmatrix}}_{\mathbf{Z}^\top}, \quad (11) $$

où $\mathbf{Z}$ est de taille $N \times r$. On peut voir à partir de (11) que la matrice $\mathbf{F}$ partage le même facteur $\mathbf{W}$ avec le tenseur $\mathcal{J}$. Sur la base de cette observation, nous construisons un problème FCMT contraint, impliquant la matrice $\mathbf{F}$ et le tenseur $\mathcal{J}$.

**Algorithme d'apprentissage** L'idée de l'approche basée sur la FCMT contrainte est de formuler l'apprentissage des paramètres, $\mathbf{W}$, $\mathbf{V}$ et $c_{k,\ell}$, pour $0 \le k \le d$ et $1 \le \ell \le r$, comme suit.

$$ \min_{\mathbf{W}, \mathbf{V}, \mathbf{H}, \mathbf{Z}} \left\| \mathcal{J} - \left[ \|\mathbf{W}, \mathbf{V}, \mathbf{H}\| \right]^2 + \lambda \cdot \left\| \mathbf{F} - \mathbf{W}\mathbf{Z}^T \right\|^2 \right\| \quad (12) $$

$$ \begin{gathered} \text{t.q. } h_{j,\ell} = c_{1,\ell} \phi_1^\prime (\mathbf{v}_\ell^T \mathbf{u}^{(j)}) + \cdots + c_{d,\ell} \phi_d^\prime (\mathbf{v}_\ell^T \mathbf{u}^{(j)}), \\ z_{j,l} = c_{0,l} + c_{1,\ell} \phi_1 (\mathbf{v}_\ell^T \mathbf{u}^{(j)}) + \cdots + c_{d,\ell} \phi_d (\mathbf{v}_\ell^T \mathbf{u}^{(j)}). \end{gathered} $$

Ces contraintes s'expriment de manière équivalente comme

$$ h_{\ell} = X_{\ell} \cdot c_{\ell}, \quad z_{\ell} = Y_{\ell} \cdot c_{\ell}, \quad \text{for } 1 \le \ell \le r, $$

où les matrices $X_\ell$ et $Y_\ell$, de taille $N \times (d+1)$, sont données par

$$ X_{\ell} = \begin{bmatrix} 0 & \phi_{1}^{\prime}(\mathbf{v}_{\ell}^{\top}\mathbf{u}^{(1)}) & \cdots & \phi_{d}^{\prime}(\mathbf{v}_{\ell}^{\top}\mathbf{u}^{(1)}) \\ \vdots & \vdots & \ddots & \vdots \\ 0 & \phi_{1}^{\prime}(\mathbf{v}_{\ell}^{\top}\mathbf{u}^{(N)}) & \cdots & \phi_{d}^{\prime}(\mathbf{v}_{\ell}^{\top}\mathbf{u}^{(N)}) \end{bmatrix}, \quad (13) $$

$$ Y_{\ell} = \begin{bmatrix} 1 & \phi_{1}(\mathbf{v}_{\ell}^{\top}\mathbf{u}^{(1)}) & \cdots & \phi_{d}(\mathbf{v}_{\ell}^{\top}\mathbf{u}^{(1)}) \\ \vdots & \vdots & \ddots & \vdots \\ 1 & \phi_{1}(\mathbf{v}_{\ell}^{\top}\mathbf{u}^{(N)}) & \cdots & \phi_{d}(\mathbf{v}_{\ell}^{\top}\mathbf{u}^{(N)}) \end{bmatrix}, \quad (14) $$

et le $\ell$-ième vecteur de coefficient $c_\ell$ est défini comme $c_\ell = [c_{0,\ell} \ c_{1,\ell} \ \dots \ c_{d,\ell}]^\top$.

Pour résoudre le problème (12), nous proposons un algorithme des moindres carrés alternés à facteurs $\mathbf{H}$ et $\mathbf{Z}$ contraints, dans lequel nous mettons à jour les coefficients des FAs $g_1, \dots, g_r$ selon (4). La procédure complète est donnée dans Algorithme 1, où $\odot$ dénote le produit de Khatri-Rao.

## Algorithme 1 Algorithme d'apprentissage basé sur la FCMT

**Entrée** : Tenseur $\mathcal{J}$ de dimension $n \times m \times N$, matrice $\mathbf{F}$ de taille $n \times N$, les fonctions $\{\phi_1, \dots, \phi_d\}$, paramètre d'ajustement $\lambda$, rang $r$.

**Sortie** : Facteurs $\mathbf{W}, \mathbf{V}, \mathbf{H}$ et $\mathbf{Z}$, et les coefficients $c_\ell$.

1. Initialiser $\mathbf{V}, \mathbf{H}, \mathbf{Z}$

2. **répéter**

3. Mettre à jour $\mathbf{W}$ avec $\min_{\mathbf{W}} \left\| \text{unfold}_1 \mathcal{J} - \mathbf{W} (\mathbf{H} \odot \mathbf{V})^\top \right\|^2 + \lambda \cdot \left\| \mathbf{F} - \mathbf{W}\mathbf{Z}^\top \right\|^2$

4. Mettre à jour $\mathbf{V}$ avec $\min_{\mathbf{V}} \left\| \text{unfold}_2 \mathcal{J} - \mathbf{V} (\mathbf{H} \odot \mathbf{W})^\top \right\|^2$

5. Mettre à jour $\mathbf{H}$ avec $\min_{\mathbf{H}} \left\| \text{unfold}_3 \mathcal{J} - \mathbf{H} (\mathbf{V} \odot \mathbf{W})^\top \right\|^2$

6. Mettre à jour $\mathbf{Z}$ avec $\min_{\mathbf{Z}} \left\| \mathbf{F} - \mathbf{W}\mathbf{Z}^\top \right\|^2$

7. **pour** $\ell = 1 \dots r$ **faire**

8. Construire $X_\ell$ selon (13).

9. Construire $Y_\ell$ selon (14).

10. **fin pour**

11. Calculer $c$ comme $\min_{c} \left\| \text{vec}(\mathbf{H}) - \begin{bmatrix} X_1 & & & 0 \\ & \ddots & & \\ 0 & & X_r & \end{bmatrix} \cdot \mathbf{c} \right\|^2 + \lambda \cdot \left\| \text{vec}(\mathbf{Z}) - \begin{bmatrix} Y_1 & & & 0 \\ & \ddots & & \\ 0 & & Y_r & \end{bmatrix} \cdot \mathbf{c} \right\|^2$

12. **pour** $\ell = 1 \dots r$ **faire**

13. Calculer $h_\ell$ t.q : $h_\ell = X_\ell \cdot c_\ell$

14. Calculer $z_\ell$ t.q : $z_\ell = Y_\ell \cdot c_\ell$

15. **fin pour**

16. **jusqu'à** un test de convergence est satisfait ou le nombre maximal d'itérations est atteint

17. retourne $\mathbf{W}, \mathbf{V}, c_\ell$.

# 5 Compression des réseaux de neurones pré-entraînés

Pour illustrer l'efficacité de l'apprentissage de réseaux de neurones flexibles basé sur des tenseurs, la compression de réseaux de neurones pré-formés est considérée dans cette section. L'un des principaux objectifs de la compression est de réduire la complexité d'un réseau de neurones afin de permettre son implémentation sur des systèmes embarqués avec des capacités
tés de calcul et de mémoire limitées.

**Processus de compression** L'idée ici est de remplacer une ou plusieurs couches consécutives du réseau d'origine par une seule couche flexible. Ce processus est représenté graphiquement dans la Fig. 2. À gauche, la figure correspond à un RN avec deux couches cachées et des FAs fixes (ReLU dans cet exemple). Les deux couches cachées sont remplacées par une seule couche avec des FAs flexibles (sur le côté droit de la Fig. 2) ayant un nombre de neurones inférieur au réseau initial, c'est-à-dire le réseau compressé.

<figure><img src="image_5.png" /><figcaption>FIGURE 2 – Représentation graphique du processus de compression : (à gauche) le RN d'origine avec des FAs fixes - (à droite) le RN approximé avec des FAs flexibles.</figcaption></figure>

**Quelques résultats de simulation** Dans ce travail, nous considérons un RN convolutif [10], qui comprend quatre couches convolutives utilisant une FA maxout. Le réseau a été formé pour classer images 24 × 24 de caractères en niveaux de gris en 36 classes différentes, correspondant à 10 chiffres et 26 lettres. Les EQMs normalisées sont définies selon EQMN tenseur = $\frac{\|\hat{\mathcal{J}} - \mathcal{J}\|^2}{\|\hat{\mathcal{J}}\|^2}$, et, EQMN matrice = $\frac{\|\hat{\mathbf{F}} - \mathbf{F}\|^2}{\|\hat{\mathbf{F}}\|^2}$, où $\hat{\mathcal{J}}$ and $\hat{\mathbf{F}}$ font respectivement référence au tenseur et à la matrice estimés. La Perte de précision est définie comme la différence entre la précision de classification du RN original et du RN approximé. Le Taux de compression est égal au rapport entre le nombre de paramètres des couches compressées et d'origine. Nous notons que DTC fait référence à une approche de décomposition tensorielle contrainte réalisée avec une correc- tion de décalage.

# 6 Conclusion

Dans ce travail, nous avons proposé un cadre basé sur des tenseurs pour la compression de grands réseaux de neurones, en utilisant des fonctions d'activation flexibles. Les FAs sont

<figure><img src="image_6.png" /><figcaption>FIGURE 3 – FCMT vs DTC, avec $N = 360$, $d = 4$.</figcaption></figure>

exprimées sous la forme d'une somme pondérée de fonctions de base prédéfinies. En formulant le problème comme un problème de factorisation couplée matrice-tenseur contraint, nous proposons un nouvel algorithme d'apprentissage basé sur ALS, qui peut gérer différentes bases de décomposition. Le but de cette solution est de compressor de grands RNs, en remplacant une ou plusieurs couches du réseau initial par une couche ayant des FAs flexibles. L'apprentissage des nouvelles fonctions est effectué sur la base d'une factorisation couplée d'un tenseur jacobien, suivant une décomposition canonique polyadique contrainte, et d'une matrice d'évaluation.

# Références

[1] V. Lebedev, Y. Ganin, M. Rakhuba, I. Oseledets, and V. Lempitsky, "Speeding-up convolutional neural networks using fine-tuned CP-decomposition," CoRR, vol. abs/1412.6553, 2015.

[2] F. L. Hitchcock, "Multiple invariants and generalized rank of a p-way matrix or tensor," *Journal of Mathematics and Physics*, vol. 7, pp. 39–79, 1927.

[3] N. Cohen, O. Sharir, and A. Shashua, "On the expressive power of deep learning: A tensor analysis," in *29th Annual Conference on Learning Theory*, 2016, pp. 698–728.

[4] A. Apicella, F. Donnarumma, F. Isgrò, and R. Prevete, "A survey on modern trainable activation functions," *Neural Networks*, vol. 138, pp. 14–32, 2021.

[5] P. Comon, Y. Qi, and K. Usevich, "Identifiability of an X-rank decomposition of polynomial maps," *SIAM Journal on Applied Algebra and Geometry*, vol. 1, no. 1, pp. 388–414, 2017. [Online]. Available : https://doi.org/10.1137/16M1108388

[6] P. Dreesen, M. Ishteva, and J. Schoukens, "Decoupling multivariate polynomials using first-order information and tensor decompositions," *SIAM Journal on Matrix Analysis and Applications*, vol. 36, no. 12, pp. 864–879, 2015.

[7] K. Usevich, P. Dreesen, and M. Ishteva, "Decoupling multivariate polynomials: Interconnections between tensorizations," *Journal of Computational and Applied Mathematics*, vol. 363, pp. 22–34, 2020.

[8] G. Hollander, "Multivariate polynomial decoupling in nonlinear system identification," Ph.D. dissertation, Vrije Universiteit Brussel, 2018.

[9] Y. Zniyed, K. Usevich, S. Miron, and D. Brie, "Learning nonlinearities in the decoupling problem with structured CPD," in *16th IFAC Symposium on System Identification*, Padova, Italy, 2021.

[10] M. Jaderberg, A. Vedaldi, and A. Zisserman, "Deep features for text spotting," in *Computer Vision – ECCV 2014*, D. Fleet, T. Pajdla, B. Schiele, and T. Tuytelaars, Eds. Cham : Springer International Publishing, 2014, pp. 512–528.