質問: 趣味で、ブログエントリを形態素解析し語のTFIDFを取得して、NMFアルゴリズムで特徴を調べようとしています。 しかし、エントリ数が6万、キーワード数が11万で、そのままメモリ上に展開して行列計算することができません。 ファイルに行列を落として計算してみましたが、遅すぎて使い物になりませんでした。 こういったメモリ上に展開して計算できないような行列計算を行う方法がありましたら、手がかりだけでもかまいませんので御教示ください。 よろしくお願いいたします。
回答: どの程度中身のある行列(ゼロでない要素がどうなっているかという意味です)か分からないのですが、仮にゼロ要素が多ければ「疎行列」として計算を簡易化する方法があります。 もう自分ではやっていないので、見当違いなことかもしれないですが、こちらのライブラリーなどを利用するなども選択肢の一つかと思います。