テキストレスNLPにおいて、軽量アーキテクチャの可能性は多岐にわたります。例えば、Vector-Quantized Contrastive Predictive Coding (VQ-CPC)のようなアーキテクチャは、音声データの高次元表現を効率的に学習するために設計されており、低リソース環境でも優れた性能を発揮します。また、Lightweight Convolutional Neural Networks (CNN)やRecurrent Neural Networks (RNN)の簡易版も、音声処理タスクにおいて有望です。これらのアーキテクチャは、計算資源を節約しつつ、音声の特徴を効果的に抽出することができます。さらに、自己教師あり学習を活用したアプローチも、データのラベル付けが困難な低リソース言語において有効です。これにより、音声データから直接的に特徴を学習し、音声合成や音声変換などのタスクに応用することが可能です。