(57)【要約】【構成】ＣＰＵ２６は、互いに異なるタイミングでイメージセンサ１６によって捉えられたシーンを表す複数フレームの画像データをシャッタボタン２８ｓｈの操作に応答して取得する。ＣＰＵ２６はまた、取得された各フレームの画像データから１または２以上の食器を検出し、さらに取得された各フレームの画像データに相当する画像をＬＣＤモニタ３８に表示する。ＣＰＵ２６はさらに、表示された複数の画像に関連したエネルギー値の入力を食器毎に受け付ける。【効果】エネルギー値の入力に関する操作性を高めることができる。【選択図】図２
2013214880.tif 000002
【特許請求の範囲】
【請求項１】
撮像面で捉えられたシーンを表す画像を出力する撮像手段、
前記撮像手段から出力された画像を取得する第１取得手段、
前記第１取得手段の処理の実行後に前記撮像手段から出力された画像を取得する第２取得手段、
前記第１取得手段によって取得された画像および／または前記第２取得手段によって取得された画像から１または２以上の特定物体像を検出する検出手段、
前記第１取得手段および前記第２取得手段によって取得された２以上の画像を表示する表示手段、および
前記表示手段によって表示された２以上の画像に関連した画像関連情報の入力を前記検出手段によって検出された１または２以上の特定物体像毎に受け付ける受け付け手段を備える、電子カメラ。
【請求項２】
前記検出手段は、前記第１取得手段によって取得された画像から１または２以上の特定物体像を検出する物体像検出手段、および前記物体像検出手段の検知結果を前記撮像手段から出力された画像に合成して表示する合成表示手段を含み、
前記第２取得手段は前記撮像手段から出力された画像を取得する処理を前記合成表示手段の処理に関連して実行する、請求項１記載の電子カメラ。
【請求項３】
前記特定物体像は食器を示す画像に相当し、
前記画像関連情報は食品の栄養価に相当し、
前記栄養価はエネルギー値に相当する、請求項１または２記載の電子カメラ。
【請求項４】
筐体の振動を検出する振動検出手段、
前記振動検出手段によって検出された振動に相当する運動によって消費されるエネルギー値を算出する算出手段、および
前記受け付け手段によって受け付けられたエネルギー値と前記算出手段によって算出されたエネルギー値との差分に応じて異なる報知を出力する報知手段をさらに備える、請求項３記載の電子カメラ。
【請求項５】
撮像面で捉えられたシーンを表す画像を出力する撮像手段を備える電子カメラのプロセッサに、
前記撮像手段から出力された画像を取得する第１取得ステップ、
前記第１取得ステップの処理の実行後に前記撮像手段から出力された画像を取得する第２取得ステップ、
前記第１取得ステップによって取得された画像および／または前記第２取得ステップによって取得された画像から１または２以上の特定物体像を検出する検出ステップ、
前記第１取得ステップおよび前記第２取得ステップによって取得された２以上の画像を表示する表示ステップ、および
前記表示ステップによって表示された２以上の画像に関連した画像関連情報の入力を前記検出ステップによって検出された１または２以上の特定物体像毎に受け付ける受け付けステップを実行するための、撮像処理プログラム。
【請求項６】
撮像面で捉えられたシーンを表す画像を出力する撮像手段を備える電子カメラによって実行される撮像処理方法であって、
前記撮像手段から出力された画像を取得する第１取得ステップ、
前記第１取得ステップの処理の実行後に前記撮像手段から出力された画像を取得する第２取得ステップ、
前記第１取得ステップによって取得された画像および／または前記第２取得ステップによって取得された画像から１または２以上の特定物体像を検出する検出ステップ、
前記第１取得ステップおよび前記第２取得ステップによって取得された２以上の画像を表示する表示ステップ、および
前記表示ステップによって表示された２以上の画像に関連した画像関連情報の入力を前記検出ステップによって検出された１または２以上の特定物体像毎に受け付ける受け付けステップを備える、撮像処理方法。
【請求項７】
撮像面で捉えられたシーンを表す画像を出力する撮像手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記撮像手段から出力された画像を取得する第１取得ステップ、
前記第１取得ステップの処理の実行後に前記撮像手段から出力された画像を取得する第２取得ステップ、
前記第１取得ステップによって取得された画像および／または前記第２取得ステップによって取得された画像から１または２以上の特定物体像を検出する検出ステップ、
前記第１取得ステップおよび前記第２取得ステップによって取得された２以上の画像を表示する表示ステップ、および
前記表示ステップによって表示された２以上の画像に関連した画像関連情報の入力を前記検出ステップによって検出された１または２以上の特定物体像毎に受け付ける受け付けステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項８】
撮像面で捉えられたシーンを表す画像を出力する撮像手段、
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記撮像手段から出力された画像を取得する第１取得ステップ、
前記第１取得ステップの処理の実行後に前記撮像手段から出力された画像を取得する第２取得ステップ、
前記第１取得ステップによって取得された画像および／または前記第２取得ステップによって取得された画像から１または２以上の特定物体像を検出する検出ステップ、
前記第１取得ステップおよび前記第２取得ステップによって取得された２以上の画像を表示する表示ステップ、および
前記表示ステップによって表示された２以上の画像に関連した画像関連情報の入力を前記検出ステップによって検出された１または２以上の特定物体像毎に受け付ける受け付けステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に画像関連情報を扱う、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、カメラ付き携帯電話によって摂取する食事を撮影された摂取食事画像データは、食事中の飲食店を表す飲食店情報とともに摂取カロリー計算支援装置に送信される。飲食店情報および摂取食事画像データに基づいて、複数の食事画像とカロリーとを対応付けたカロリーデータベースを参照して、摂取食事画像データに対応する対応食事画像データおよびそのカロリー情報が、カロリー取得手段によって取得される。対応食事画像データおよびカロリー情報はカメラ付き携帯電話に送信され、液晶モニタに表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１１８５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、摂取食事画像データに関連したカロリー情報を取得するためには飲食店情報が必要であるので、飲食店情報が準備されていない場合にカロリー情報を取得することができない。したがって、飲食店情報に限定されない画像関連情報を入力するときに操作性が低下する恐れがある。
【０００５】
それゆえに、この発明の主たる目的は、画像関連情報の入力に関する操作性を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)、撮像手段から出力された画像を取得する第１取得手段(S53~S55)、第１取得手段の処理の実行後に撮像手段から出力された画像を取得する第２取得手段(S71~S73)、第１取得手段によって取得された画像および／または第２取得手段によって取得された画像から１または２以上の特定物体像を検出する検出手段(S63~S69, S79~S81, S85)、第１取得手段および第２取得手段によって取得された２以上の画像を表示する表示手段(S75~S77, S117~S119)、および表示手段によって表示された２以上の画像に関連した画像関連情報の入力を検出手段によって検出された１または２以上の特定物体像毎に受け付ける受け付け手段(S121, S137~S157)を備える。
【０００７】
好ましくは、検出手段は、第１取得手段によって取得された画像から１または２以上の特定物体像を検出する物体像検出手段(S63~S67)、および物体像検出手段の検知結果を撮像手段から出力された画像に合成して表示する合成表示手段(S69)を含み、第２取得手段は撮像手段から出力された画像を取得する処理を合成表示手段の処理に関連して実行する。
【０００８】
好ましくは、特定物体像は食器を示す画像に相当し、画像関連情報は食品の栄養価に相当し、さらに好ましくは、栄養価はエネルギー値に相当する。
【０００９】
より好ましくは、筐体の振動を検出する振動検出手段(48)、振動検出手段によって検出された振動に相当する運動によって消費されるエネルギー値を算出する算出手段(S41~S43)、および受け付け手段によって受け付けられたエネルギー値と算出手段によって算出されたエネルギー値との差分に応じて異なる報知を出力する報知手段(S105~S107)がさらに備えられる。
【００１０】
この発明に従う撮像処理プログラムは、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、撮像手段から出力された画像を取得する第１取得ステップ(S53~S55)、第１取得ステップの処理の実行後に撮像手段から出力された画像を取得する第２取得ステップ(S71~S73)、第１取得ステップによって取得された画像および／または第２取得ステップによって取得された画像から１または２以上の特定物体像を検出する検出ステップ(S63~S69, S79~S81, S85)、第１取得ステップおよび第２取得ステップによって取得された２以上の画像を表示する表示ステップ(S75~S77, S117~S119)、および表示ステップによって表示された２以上の画像に関連した画像関連情報の入力を検出ステップによって検出された１または２以上の特定物体像毎に受け付ける受け付けステップ(S121, S137~S157)を実行するための、撮像処理プログラムである。
【００１１】
この発明に従う撮像処理方法は、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)を備える電子カメラ(10)によって実行される撮像処理方法であって、撮像手段から出力された画像を取得する第１取得ステップ(S53~S55)、第１取得ステップの処理の実行後に撮像手段から出力された画像を取得する第２取得ステップ(S71~S73)、第１取得ステップによって取得された画像および／または第２取得ステップによって取得された画像から１または２以上の特定物体像を検出する検出ステップ(S63~S69, S79~S81, S85)、第１取得ステップおよび第２取得ステップによって取得された２以上の画像を表示する表示ステップ(S75~S77, S117~S119)、および表示ステップによって表示された２以上の画像に関連した画像関連情報の入力を検出ステップによって検出された１または２以上の特定物体像毎に受け付ける受け付けステップ(S121, S137~S157)を備える。
【００１２】
この発明に従う外部制御プログラムは、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、撮像手段から出力された画像を取得する第１取得ステップ(S53~S55)、第１取得ステップの処理の実行後に撮像手段から出力された画像を取得する第２取得ステップ(S71~S73)、第１取得ステップによって取得された画像および／または第２取得ステップによって取得された画像から１または２以上の特定物体像を検出する検出ステップ(S63~S69, S79~S81, S85)、第１取得ステップおよび第２取得ステップによって取得された２以上の画像を表示する表示ステップ(S75~S77, S117~S119)、および表示ステップによって表示された２以上の画像に関連した画像関連情報の入力を検出ステップによって検出された１または２以上の特定物体像毎に受け付ける受け付けステップ(S121, S137~S157)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１３】
この発明に従う電子カメラ(10)は、撮像面で捉えられたシーンを表す画像を出力する撮像手段(16)、外部制御プログラムを取り込む取り込み手段(50)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)であって、外部制御プログラムは、撮像手段から出力された画像を取得する第１取得ステップ(S53~S55)、第１取得ステップの処理の実行後に撮像手段から出力された画像を取得する第２取得ステップ(S71~S73)、第１取得ステップによって取得された画像および／または第２取得ステップによって取得された画像から１または２以上の特定物体像を検出する検出ステップ(S63~S69, S79~S81, S85)、第１取得ステップおよび第２取得ステップによって取得された２以上の画像を表示する表示ステップ(S75~S77, S117~S119)、および表示ステップによって表示された２以上の画像に関連した画像関連情報の入力を検出ステップによって検出された１または２以上の特定物体像毎に受け付ける受け付けステップ(S121, S137~S157)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１４】
第２取得手段は第１取得手段の処理の実行後に画像を取得するので、互いに異なるタイミングで撮像手段から出力された２以上の画像が取得される。このような２以上の画像が表示されるので、第１取得手段によって画像が取得されてから第２取得手段によって画像が取得されるまでの間の事象の変化を、２以上の画像の相違点から把握することができる。
【００１５】
また、表示された２以上の画像に関連した画像関連情報の入力が、２以上の画像の両方またはいずれか一方から検出された２以上の特定物体像毎に受け付けられる。したがって、事象の変化に応じた情報を特定物体像毎に検討しながら入力することができ、画像関連情報の入力に関する操作性が向上する。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例において参照されるデータベースの一例を示す図解図である。
【図４】ＬＣＤモニタに表示された画像の一例を示す図解図である。
【図５】ＬＣＤモニタに表示された食後撮影確認画面の一例を示す図解図である。
【図６】図２実施例によって作成されるＥｘｉｆタグの構成の一例を示す図解図である。
【図７】ＬＣＤモニタに表示された食器位置の一例を示す図解図である。
【図８】図２実施例によって作成される合成画像の一例を示す図解図である。
【図９】ＬＣＤモニタに表示されたおかわり入力画面の一例を示す図解図である。
【図１０】ＬＣＤモニタに表示された日付選択画面の一例を示す図解図である。
【図１１】ＬＣＤモニタに表示された時間帯選択画面の一例を示す図解図である。
【図１２】ＬＣＤモニタに表示された記録画像の一例を示す図解図である。
【図１３】ＬＣＤモニタに表示されたメニュー選択画面の一例を示す図解図である。
【図１４】図２実施例において参照されるレジスタの一例を示す図解図である。
【図１５】ＬＣＤモニタに表示された算出結果確認画面の一例を示す図解図である。
【図１６】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２３】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２４】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１９】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は、撮像面で捉えられたシーンを表す画像を出力する。第１取得手段２は、撮像手段１から出力された画像を取得する。第２取得手段３は、第１取得手段２の処理の実行後に撮像手段１から出力された画像を取得する。検出手段４は、第１取得手段２によって取得された画像および／または第２取得手段３によって取得された画像から１または２以上の特定物体像を検出する。表示手段５は、第１取得手段２および第２取得手段３によって取得された２以上の画像を表示する。受け付け手段６は、表示手段５によって表示された２以上の画像に関連した画像関連情報の入力を検出手段４によって検出された１または２以上の特定物体像毎に受け付ける。
【００２０】
第２取得手段３は第１取得手段２の処理の実行後に画像を取得するので、互いに異なるタイミングで撮像手段１から出力された２以上の画像が取得される。このような２以上の画像が表示されるので、第１取得手段２によって画像が取得されてから第２取得手段３によって画像が取得されるまでの間の事象の変化を、２以上の画像の相違点から把握することができる。
【００２１】
また、表示された２以上の画像に関連した画像関連情報の入力が、２以上の画像の両方またはいずれか一方から検出された２以上の特定物体像毎に受け付けられる。したがって、事象の変化に応じた情報を特定物体像毎に検討しながら入力することができ、画像関連情報の入力に関する操作性が向上する。
［実施例］
【００２２】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８によって駆動されるフォーカスレンズ１２を含む。これらの部材を経たシーンの光学像は、イメージセンサ１６の撮像面に照射され、光電変換を施される。これによって、シーンを表す電荷が生成される。
【００２３】
システム全体が起動されるとメインＣＰＵ２６は、キー入力装置２８に設けられたモード変更ボタン２８ｍｄの状態（つまり現時点の動作モード）をメインタスクの下で判別し、消費エネルギー計測モード，摂取エネルギー記録モード，およびエネルギー管理モードに対応して、消費エネルギー計測タスク，摂取エネルギー記録タスク，およびエネルギー管理タスクをそれぞれ起動する。消費エネルギー計測タスクの実行中はディジタルカメラ１０のスリープ機能が無効とされる一方、摂取エネルギー記録タスクまたはエネルギー管理タスクの実行中はスリープ機能が有効とされる。
【００２４】
また、これらの３つのタスクの実行のために、図３に示すデータベースＤＢ１が準備される。データベースＤＢ１は、日時を記述するカラム，摂取エネルギーまたは消費エネルギーの別を記述するカラム，および摂取エネルギー値または消費エネルギー値を記述するカラムによって構成される。このようなデータベースＤＢ１は、フラッシュメモリ４４に格納される。
【００２５】
消費エネルギー計測タスクが起動されると、加速度センサ４８が起動される。加速度センサ４８は、ディジタルカメラ１０に動きが発生したか否かを検知し、動きの発生が検知されると検知された動きを表す動きベクトルを出力する。ＣＰＵ２６は、ジャイロセンサ４８の出力に基づいてディジタルカメラ１０の動きを解析し、解析結果に基づいてディジタルカメラ１０を所持する人物の消費エネルギー値をカロリー単位で算出する。算出の日時および算出されたエネルギー値は、消費エネルギー値としてデータベースＤＢ１に登録される。なお、消費エネルギー値は動きの検出毎に繰り返し算出され、算出日が同一のレコードが既に登録されていた場合はそのレコードが繰り返し更新される。
【００２６】
また、解析結果がポケットからディジタルカメラ１０が取り出された動きを示す場合、ＣＰＵ２６は、操作者によって食事の撮影が行われるものと判断し、加速度センサ４８を停止して、摂取エネルギー記録モードを選択する。この結果、消費エネルギー計測タスクが停止し、摂取エネルギー記録タスクが起動される。
【００２７】
摂取エネルギー記録タスクが起動されるとＣＰＵ２６は、動画取り込み処理を実行するべく、ドライバ１８に露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８は、図示しないＳＧ(SignalGenerator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２８】
信号処理回路２０は、イメージセンサ１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、これによって生成されたＹＵＶ形式の画像データをＳＤＲＡＭ３２にメモリ制御回路３０を通して書き込む。ＬＣＤドライバ３６は、ＳＤＲＡＭ３２に格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。
【００２９】
図４を参照して、操作者はＬＣＤモニタ３８に表示されたスルー画像を参照しながら、食事前の料理をフレームに収めるべく、ディジタルカメラ１０の向きを調整する。シャッタボタン２８ｓｈが操作されると、静止画取り込み処理が実行される。シャッタボタン２８ｓｈが操作された時点の１フレームの画像データは、静止画取り込み処理によってＳＤＲＡＭ３２に取り込まれる。
【００３０】
図５を参照して、静止画取り込み処理の完了後、食後の撮影に移行してよいか否かを確認する画面がＬＣＤモニタ３８に表示される。操作者は、食事を終えた後に確認操作を行う。
【００３１】
操作者によって確認操作が行われると、ＣＰＵ２６は、ＳＤＲＡＭ３２に取り込まれた画像データから食器を検出するべく、形状認識処理を実行する。形状認識が成功した場合、ＣＰＵ２６は、検出された食器の数を用いて、記録媒体４２に新たに作成される画像ファイルのヘッダを作成する。食器の数は、ヘッダ内におけるＥｘｉｆタグのメーカーノートに図６に示す要領で記述される。
【００３２】
ヘッダの作成が完了すると、ＣＰＵ２６は、検出された食器の位置を示すガイド画像を、図７に示す要領でスルー画像に重ねてＬＣＤモニタ３８に表示する。このようにして表示されたガイド画像を参照しながら、操作者は、食後の食器を食事前と同様の位置に配置する。
【００３３】
この状態でシャッタボタン２８ｓｈが操作されると、静止画取り込み処理が再度実行される。シャッタボタン２８ｓｈが操作された時点の１フレームの画像データは、静止画取り込み処理によってＳＤＲＡＭ３２に取り込まれる。
【００３４】
静止画取り込み処理が完了すると、ＣＰＵ２６は、１回目（＝食事前）に取り込まれた画像と２回目（＝食後）に取り込まれた画像とを合成し、合成画像ＣＩを作成する（図８参照）。次に、上述のようにして作成されたヘッダを用いて、ＣＰＵ２６は、合成画像ＣＩの記録処理を実行する。この結果、合成画像ＣＩを示す画像データは、ファイル形式で記録媒体４２に記録される。
【００３５】
記録処理が完了すると、ＣＰＵ２６は、食後に取り込まれた画像データから食器を検出するべく、形状認識処理を実行する。形状認識が成功した場合、ＣＰＵ２６は、検出された食器の数および位置を用いて、合成画像ＣＩを格納する画像ファイルのＥｘｉｆタグを更新する。
【００３６】
形状認識が成功した場合は次に、食器毎すなわち料理毎のおかわりの回数を操作者に入力させるべく、おかわり入力画面が図９に示す要領でＬＣＤモニタ３８に表示される。おかわり入力画面においては、入力対象の料理の食事前および食事後の画像が合成されて拡大表示される。操作者は、拡大表示された料理の画像を参照しながら、おかわりの回数を入力する。ＣＰＵ２６は、入力されたおかわりの回数を用いて、合成画像ＣＩを格納する画像ファイルのＥｘｉｆタグを更新する。おかわりの回数は、図６に示す要領でＥｘｉｆタグに記述される。
【００３７】
おかわりの回数の入力が完了すると、ＣＰＵ２６は、消費エネルギー計測モードを選択する。この結果、摂取エネルギー記録タスクが停止し、消費エネルギー計測タスクが起動される。
【００３８】
エネルギー管理タスクが起動されると、ＣＰＵ２６は、記録媒体４２およびデータベースＤＢ１にアクセスし、登録された摂取エネルギー値および消費エネルギー値を、図１０に示す要領でＬＣＤモニタ３８に日付毎に一覧表示する。なお、摂取エネルギー値の登録処理については、以下に詳述する。このとき、消費エネルギー値を摂取エネルギー値が上回る日付があれば、その日付が点滅表示されて操作者に注意が促される。
【００３９】
キー入力装置２８を通していずれかの日付が操作者によって選択されると、操作者の操作によって入力された１食当たりの摂取エネルギー値が、食事の時間帯毎に「朝」，「昼」，「夕」，または「その他」に区分されて、図１１に示す要領でＬＣＤモニタ３８に表示される。時間帯の区分は例えば、６〜９時を「朝」とし、１１〜１３時を「昼」とし、１７時〜２１時を「夕」とし、その他の時間帯を「その他」とすればよい。
【００４０】
Ｅｘｉｆタグに記述された撮影日時（図６参照）が示す日付と選択された日付とが一致する画像ファイルが記録媒体４２に存在する一方、撮影日時が示す時間帯の摂取エネルギー値の登録がデータベースＤＢ１に存在しない場合は、摂取エネルギー値を「未入力」として表示する。
【００４１】
キー入力装置２８を通していずれかの時間帯が操作者によって選択されると、撮影日時が示す時間帯が選択された時間帯と一致する画像ファイルが記録媒体４２から読み出され、読み出された画像ファイルに格納された合成画像ＣＩがＬＣＤモニタ３８に表示される。読み出された画像ファイルのＥｘｉｆタグに食器位置の登録があった場合は、各々の食器に対応した番号が、図１２に示す要領で合成画像ＣＩに重ねて表示される。
【００４２】
キー入力装置２８を通していずれかの食器すなわち料理が操作者によって選択されると、選択された料理の食事前および食事後の画像が合成されて拡大表示される。また、料理名を操作者に選択させるためのメニュー一覧が、図１３に示す要領で表示される。
【００４３】
操作者は、拡大表示された料理の画像を参照しながら、画像が示す料理名を一覧から選択する。ＣＰＵ２６は、選択された料理名に対応するエネルギー値を図１４に示すレジスタＲＧＳＴ１に登録する。なお、Ｅｘｉｆタグにおかわり回数の登録があった場合は、料理名に対応するエネルギー値におかわり回数を乗じた値が登録される。
【００４４】
全ての料理について料理名が選択されたときまたは操作者によって選択完了操作が行われたとき、レジスタＲＧＳＴ１に登録されたエネルギー値を合計して１食当たりの総摂取エネルギー値が算出され、算出された総摂取エネルギー値は図１５に示す要領でＬＣＤモニタ３８に表示される。操作者によって確認操作が行われると、算出された総摂取エネルギー値がデータベースＤＢ１に登録される。
【００４５】
ＣＰＵ２６は、図１６に示すメインタスク，図１７に示す消費エネルギー計測タスク，図１８〜２０に示す摂取エネルギー記録タスク，および図２１〜２３に示すエネルギー管理タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００４６】
図１６を参照して、ステップＳ１では現時点の動作モードが消費エネルギー計測モードであるか否かを判別し、ステップＳ３では現時点の動作モードが摂取エネルギー記録モードであるか否かを判別し、ステップＳ５では現時点の動作モードがエネルギー管理モードであるか否かを判別する。ステップＳ１でＹＥＳであればステップＳ７で消費エネルギー計測タスクを起動し、ステップＳ３でＹＥＳであればステップＳ１１で摂取エネルギー記録タスクを起動し、ステップＳ５でＹＥＳであればステップＳ１５でエネルギー管理タスクを起動する。ステップＳ１ないしＳ３のいずれもＮＯであればステップＳ１９でその他の処理を実行する。
【００４７】
ステップＳ９ではディジタルカメラ１０のスリープ機能を無効とし、ステップＳ１３およびＳ１７ではスリープ機能を有効とする。ステップＳ９，Ｓ１３，Ｓ１７またはＳ１９の処理が完了すると、モード切り換え操作が行われたか否かをステップＳ２１で繰り返し判別し、判別結果がＮＯであればステップＳ２３に進む一方、判別結果がＹＥＳであればステップＳ２５に進む。
【００４８】
ステップＳ２３では起動中のタスクが終了したか否かを判別し、判別結果がＮＯであればステップＳ２１に戻る一方、判別結果がＹＥＳであればステップＳ１に戻る。ステップＳ２５では起動中のタスクを停止し、その後にステップＳ１に戻る。
【００４９】
図１７を参照して、ステップＳ３１では加速度センサ４８を起動し、ステップＳ３３では動きの発生が検知されたか否かを繰り返し判別する。ステップＳ３５では、動きの解析結果がポケットからディジタルカメラ１０が取り出された動きを示すか否かを判別し、判別結果がＮＯであればステップＳ４１に進む一方、判別結果がＹＥＳであれば加速度センサ４８をステップＳ３７で停止する。ステップＳ３９では、摂取エネルギー記録モードを選択して、その後に消費エネルギー計測タスクを終了する。この結果、消費エネルギー計測タスクが停止し、摂取エネルギー記録タスクが起動される。
【００５０】
ステップＳ４１では、動きの解析結果に基づいてディジタルカメラ１０を所持する人物の消費エネルギー値をカロリー単位で算出する。算出の日時および算出されたエネルギー値は、消費エネルギー値としてステップＳ４３でデータベースＤＢ１に登録される。
【００５１】
図１８を参照して、ステップＳ５１では動画取り込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ５３ではシャッタボタン２８ｓｈが操作されたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ５５で静止画取り込み処理を実行する。この結果、シャッタボタン２８ｓｈが操作された時点の１フレームの画像データは、静止画取り込み処理によってＳＤＲＡＭ３２に取り込まれる。
【００５２】
ステップＳ５７では食後の撮影に移行してよいか否かを確認する画面をＬＣＤモニタ３８に表示し、ステップＳ５９では確認操作が行われたか否かを判別する。判別結果がＹＥＳであればステップＳ６３に進み、判別結果がＮＯであればステップＳ６１に進む。ステップＳ６１ではキャンセル操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ５９に戻り、判別結果がＹＥＳであればステップＳ５３に戻る。
【００５３】
ステップＳ６３ではＳＤＲＡＭ３２に取り込まれた画像データから食器を検出するべく、１回目の形状認識処理を実行する。ステップＳ６５では形状認識が成功したか否かを判別し、判別結果がＮＯであればステップＳ７１に進む一方、判別結果がＹＥＳであればステップＳ６７およびＳ６９の処理を経てステップＳ７１に進む。
【００５４】
ステップＳ６７では、検出された食器の数を用いて、記録媒体４２に新たに作成される画像ファイルのＥｘｉｆタグを更新して、ヘッダを作成する。ステップＳ６９では、検出された食器の位置を示すガイド画像を、スルー画像に重ねてＬＣＤモニタ３８に表示する。
【００５５】
ステップＳ７１ではシャッタボタン２８ｓｈが操作されたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ７３で静止画取り込み処理を実行する。この結果、シャッタボタン２８ｓｈが操作された時点の１フレームの画像データは、静止画取り込み処理によってＳＤＲＡＭ３２に取り込まれる。
【００５６】
ステップＳ７５では、１回目に取り込まれた画像と２回目に取り込まれた画像とを合成し、合成画像ＣＩを作成する処理を実行する。ステップＳ７７では、ステップＳ６７で作成されたヘッダを用いて、合成画像ＣＩの記録処理を実行する。この結果、合成画像ＣＩを示す画像データは、ファイル形式で記録媒体４２に記録される。
【００５７】
ステップＳ７９では、２回目に取り込まれた画像データから食器を検出するべく、形状認識処理を実行する。ステップＳ８１では形状認識が成功したか否かを判別し、判別結果がＮＯであればステップＳ８３の処理を経てステップＳ９５に進み、判別結果がＹＥＳであればステップＳ８５〜Ｓ９３の処理を経てステップＳ９５に進む。
【００５８】
ステップＳ８３では、おかわり回数の設定ができない旨のエラーを操作者に報知する。ステップＳ８５では、検出された食器の数および位置を用いて、合成画像ＣＩを格納する画像ファイルのＥｘｉｆタグを更新する。
【００５９】
ステップＳ８７では、食器毎すなわち料理毎のおかわりの回数を操作者に入力させるべく、おかわり入力画面をＬＣＤモニタ３８に表示する。おかわり入力画面においては、入力対象の料理の食事前および食事後の画像が合成されて拡大表示される。
【００６０】
ステップＳ８９では、おかわり回数の設定操作があったか否かを判別し、判別結果がＮＯであればステップＳ９３に進む一方、判別結果がＹＥＳであればステップＳ９１に進む。ステップＳ９１では、入力されたおかわりの回数を用いて、合成画像ＣＩを格納する画像ファイルのＥｘｉｆタグを更新する。その後、ステップＳ８９に戻る。
【００６１】
ステップＳ９３では設定完了操作があったか否かを判別し、判別結果がＮＯであればステップＳ８９に戻る一方、判別結果がＹＥＳであればステップＳ９５に進む。ステップＳ９５では、消費エネルギー計測モードを選択して、その後に摂取エネルギー記録タスクを終了する。この結果、摂取エネルギー記録タスクが停止し、消費エネルギー計測タスクが起動される。
【００６２】
図２１を参照して、ステップＳ１０１では記録媒体４２およびデータベースＤＢ１にアクセスし、ステップＳ１０３では登録された摂取エネルギー値および消費エネルギー値をＬＣＤモニタ３８に日付毎に一覧表示する。ステップＳ１０５では、消費エネルギー値を摂取エネルギー値が上回る日付があるか否かを判別し、判別結果がＮＯであればステップＳ１０９に進む一方、判別結果がＹＥＳであればステップＳ１０７の処理を経てステップＳ１０９に進む。
【００６３】
ステップＳ１０７では、ステップＳ１０５の判別に該当する日付を点滅表示して、操作者に注意を促す。ステップＳ１０９では、キー入力装置２８を通していずれかの日付が操作者によって選択されたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、操作者の操作によって入力された１食当たりの摂取エネルギー値が、選択された日付の食事の時間帯毎に「朝」，「昼」，「夕」，または「その他」に区分されて、ステップＳ１１１でＬＣＤモニタ３８に表示される。
【００６４】
ステップＳ１１３では、キー入力装置２８を通していずれかの時間帯が操作者によって選択されたか否かを判別し、判別結果がＮＯであればステップＳ１１５に進む一方、判別結果がＹＥＳであればステップＳ１１７に進む。ステップＳ１１５では、キー入力装置２８を通して操作者によってキャンセル操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ１１３に戻る一方、判別結果がＹＥＳであればステップＳ１０３に戻る。
【００６５】
ステップＳ１１７では、撮影日時が示す時間帯が選択された時間帯と一致する画像ファイルおよびそのＥｘｉｆタグを記録媒体４２から読み出し、読み出された画像ファイルに格納された合成画像ＣＩをステップＳ１１９でＬＣＤモニタ３８に表示する。ステップＳ１２１では、読み出された画像ファイルのＥｘｉｆタグに食器位置の登録があるか否かを判別し、判別結果がＹＥＳであればステップＳ１３９に進む一方、判別結果がＮＯであればステップＳ１２３に進む。
【００６６】
ステップＳ１２３では料理名を操作者に選択させるためのメニュー一覧を合成画像ＣＩとともにＬＣＤモニタ３８に表示し、ステップＳ１２５では操作者によって料理名が選択されたか否かを判別する。判別結果がＮＯであればステップＳ１２９に進む一方、判別結果がＹＥＳであれば選択された料理名に対応するエネルギー値をステップＳ１２７でレジスタＲＧＳＴ１に登録する。
【００６７】
ステップＳ１２９では、操作者によって選択完了操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ１２５に戻る一方、判別結果がＹＥＳであればステップＳ１３１に進む。ステップＳ１３１ではレジスタＲＧＳＴ１に登録されたエネルギー値を合計して１食当たりの総摂取エネルギー値を算出し、算出された総摂取エネルギー値をステップＳ１３３でＬＣＤモニタ３８に表示する。
【００６８】
ステップＳ１３５では操作者によって確認操作が行われたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１３１で算出された総摂取エネルギー値をステップＳ１３７でデータベースＤＢ１に登録する。ステップＳ１３７の処理が完了すると、ステップＳ１１１に戻る。
【００６９】
ステップＳ１３９では、各々の食器に対応した番号を合成画像ＣＩに重ねてＬＣＤモニタ３８に表示する。ステップＳ１４１ではキー入力装置２８を通していずれかの食器すなわち料理が操作者によって選択されたか否かを判別し、判別結果がＹＥＳであればステップＳ１４５に進む一方、判別結果がＮＯであればステップＳ１４３に進む。
【００７０】
ステップＳ１４３では、操作者によって選択完了操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ１４１に戻る一方、判別結果がＹＥＳであればステップＳ１３１に戻る。ステップＳ１４５では選択された料理の食事前および食事後の画像の合成処理を実行し、合成された画像をステップＳ１４７で拡大表示する。
【００７１】
ステップＳ１４９では、料理名を操作者に選択させるためのメニュー一覧をＬＣＤモニタ３８に表示する。ステップＳ１５１では操作者によって料理名が選択されたか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ１５３に進む。
【００７２】
ステップＳ１５３ではＥｘｉｆタグにおかわり回数の登録があるか否かを判別し、判別結果がＮＯであればステップＳ１５７に進む一方、判別結果がＹＥＳであればステップＳ１５５の処理を経てステップＳ１５７に進む。ステップＳ１５５では、選択された料理名に対応するエネルギー値におかわり回数を乗じる処理を実行する。ステップＳ１５７では、選択された料理名に対応するエネルギー値をレジスタＲＧＳＴ１に登録する。
【００７３】
ステップＳ１５９では、全ての食器についてエネルギー値の登録が済んだか否かを判別し、判別結果がＮＯであればステップＳ１３９に戻る一方、判別結果がＹＥＳであればステップＳ１３１に戻る。
【００７４】
以上の説明から分かるように、ＣＰＵ２６は、互いに異なるタイミングでイメージセンサ１６によって捉えられたシーンを表す複数フレームの画像データをシャッタボタン２８ｓｈの操作に応答して取得する(S53~S55, S71~S73)。ＣＰＵ２６はまた、取得された各フレームの画像データから１または２以上の食器を検出し(S63~S69, S79~S81, S85)、さらに取得された各フレームの画像データに相当する画像をＬＣＤモニタ３８に表示する(S75~S77, S117~S119)。ＣＰＵ２６はさらに、表示された複数の画像に関連したエネルギー値の入力を食器毎に受け付ける(S121, S137~S157)。
【００７５】
このように、撮像面で捉えられたシーンを表す画像データは互いに異なるタイミングで取得され、これに基づく複数の画像がＬＣＤモニタ３８に表示される。したがって、表示された複数の画像間での事象の変化を、容易に把握することができる。
【００７６】
また、表示された２以上の画像に関連したエネルギー値の入力が、２以上の画像の両方またはいずれか一方から検出された食器毎に受け付けられる。したがって、事象の変化に応じた情報を食器毎に検討しながら入力することができ、エネルギー値の入力に関する操作性が向上する。
【００７７】
なお、この実施例では、メニュー一覧から操作者が料理名を選択し、選択された料理名に対応するエネルギー値が摂取エネルギー値として登録されるようにした。しかし、記録された画像が示す料理名がメニュー一覧に含まれない場合など、エネルギー値を操作者に手入力させるようにしてもよい。
【００７８】
また、この実施例では、選択された料理名に対応するエネルギー値が摂取エネルギー値として登録されるようにした。しかし、例えば料理を残した場合、その料理全体に対する実際に食べた割合を入力させるようにしてもよい。
【００７９】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ５０を図２４に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８０】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図１６に示すメインタスク，図１７に示す消費エネルギー計測タスク，図１８〜２０に示す摂取エネルギー記録タスク，および図２１〜２３に示すエネルギー管理タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【００８１】
また、この実施例では、ディジタルスチルカメラを用いて説明したが、本発明は、ディジタルビデオカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【００８２】
１０  …ディジタルカメラ
１６  …イメージセンサ
２６  …ＣＰＵ
３２  …ＳＤＲＡＭ
３８  …ＬＣＤモニタ
４２  …記録媒体
４８  …加速度センサ
【図１】
2013214880.tif 000003
【図２】
2013214880.tif 000004
【図３】
2013214880.tif 000005
【図４】
2013214880.tif 000006
【図５】
2013214880.tif 000007
【図６】
2013214880.tif 000008
【図７】
2013214880.tif 000009
【図８】
2013214880.tif 000010
【図９】
2013214880.tif 000011
【図１０】
2013214880.tif 000012
【図１１】
2013214880.tif 000013
【図１２】
2013214880.tif 000014
【図１３】
2013214880.tif 000015
【図１４】
2013214880.tif 000016
【図１５】
2013214880.tif 000017
【図１６】
2013214880.tif 000018
【図１７】
2013214880.tif 000019
【図１８】
2013214880.tif 000020
【図１９】
2013214880.tif 000021
【図２０】
2013214880.tif 000022
【図２１】
2013214880.tif 000023
【図２２】
2013214880.tif 000024
【図２３】
2013214880.tif 000025
【図２４】
2013214880.tif 000026