質問: カメラモジュールでPreviewを取得して、じゃんけんの手判定を行うプログラムを実装しています。 Arduino IDEのサンプルスケッチ(camera, number_recognition)と、NNCのサンプルプロジェクト(hand-sign)を組み合わせています。 Previewをクリップ&リサイズし、グレースケールに変換してモデルに読み込ませており、グーとパーは認識できるのですが、チョキが認識できません。 Preview取得のカメラ設定は以下の通りです。 ・5fps ・CAM_WHITE_BALANCE_INCANDESCENT ・CAM_IMAGE_PIX_FMT_YUV422 -> GRAYに変換 ・320*240 -> 中央224*224を28*28にクリップ&リサイズ 撮影時はカメラを白いデスク天板20cm上に固定して、室内照明(LED)+カメラ付近からiPhoneのライトを使用しています。 またカメラ映像を確認したいのですが、Previewの出力方法も併せて知りたいです。 この設定でチョキが認識できない原因について、ご意見よろしくお願いいたします。
回答: 認識結果は学習に使ったデータセットと、設計したニューラルネットワークに依存するので原因を特定するのは難しいですね。例えば、LeNetのような”畳み込みニューラルネットワーク”と、お使いの環境で取得した ”グー”、”チョキ”、”パー” の十分な量の学習用データがあれば、認識率は自ずと向上していくと思います。 LeNet は、Neural Network Console にサンプルプロジェクトがあるので参考にしてください。 また、 GitHubからSpresense SDKを取得したが、dnnrt_hand_signが含まれていない ですでに回答しましたが、次のURLにハンドサインのスケッチがあります。 Preview については、上記の圧縮ファイル内にLCDのドライバがありますので流用できると思います。