利用可能なデータはたくさんありますが、すべてのチャンクがモデルのトレーニングに適しているわけではありません。 アルゴリズムが最高の状態で機能するためには、包括的で一貫性のある関連性のあるデータセットが必要です。これらのデータセットは均一に抽出されますが、幅広いシナリオをカバーするのに十分な多様性があります。 データに関係なく、使用する予定がある場合は、学習を改善するために、同じものをクリーンアップして注釈を付けることをお勧めします。