質問: 初心者です。パソコンがモデル作成で重くなってしまっているので、スマホからの投稿になってしまいます。申し訳ございません。 参考書やネットの記事を元に、Wikipediaの全文データをもとにword2vec用のモデル作成を行っております。 loggingを使って状況を確認できるコードにしてあるのですが、90時間経って、EPOCH1の58.1%という状況で、本当に終わるのか?という状況です。 長くても40時間ほどで終わっているという記事が多い中、さすがにおかしいかと思っています... PCのスペックが高い訳ではないからなのでしょうか? (全文ではなく、571個のテキストファイルのうち1個だけで試しにモデル作成を行った際は、最後まできちんと出来ました。その時、EPOCHが1だけではなく3くらいまでいっていたので、とてつもない時間がかかるのではないかと思って不安です。) 【環境】 Windows10 Python3.8 gensim cython(早くなると聞いたので) (WSLとしてUbuntuを入れて、neologd辞書を入れました。Windows上にコピーしてそれを元に分かち書きをした、テキストデータ(5.5GB)を使っています。) 【知りたいこと】 1このまま1ヶ月とか放置すれば多分完成はするのでしょうが、なんとか早める方法はないでしょうか? 2Google colaboratoryを利用しても、モデル作成は可能でしょうか?PCの性能に依存しなければ早くなるかと思いまして... 3そもそも、EPOCHとはなんなのでしょうか?学習の回数という認識であっていますか? 長い文章になってしまい申し訳ないのですが、回答よろしくお願いします。
回答: > > 機種はNECのLAVIEでNS150/Cです。 > > > CPU...インテル® Celeron® プロセッサー 3215U > > 動作周波数...1.70GHz > > RAM...4GB > > コア数/スレッド数...2コア/2スレッド > > キャッシュメモリ...2MB(3次キャッシュ) > > > このような感じです。コア数/スレッド数が他と比べて低いかなとは思っています。 > > http://nec-lavie.jp/navigate/products/pc/153q/09/lavie/ns/spec/index02.html > > > (質問への追記・修正の依頼より引用) > > > 率直に言うと、そのスペックではきついです。Celeronでやっている記事は、実際まずないでしょう。 (CPUなら、昨今の基準で「普通のノートPC向け」のi5でもそのCPUの5倍くらいの演算能力はあるでしょう) Google colaboratoryのCPUは私の記憶が正しければさほど強力ではありませんが、それでもだいぶマシだと思います。そちらの方がおすすめできます。 wikipediaで学習させるのであれば、学習済みモデルの配布もあちこちでされているので、そもそも自分で学習させる必要性もさほどないともいえます。