(57)【要約】【課題】再生時にフォーカスと絞りのF値の設定を直観的にわかりやすく撮影しているような操作でライトフィールドデータの再構成を可能にする画像再生装置の提供。【解決手段】リフォーカス可能な画素データを再構成して画像を再生する画像再生装置は、画像の再生の指示を取得する指示手段と、画素データの再構成に必要な情報を設定する設定手段と、設定手段が設定した再構成に必要な情報を更新するための情報を取得する更新手段と、設定手段で設定された情報に従って、画素データを再構成して画像を生成する生成手段を備え、設定手段は、画像の再生の指示が取得された時は、再構成に必要な情報の初期情報を設定し、更新のための情報が取得された時は、取得した更新のための情報に基づいて再構成に必要な情報を設定し、生成手段は、設定手段が再構成に必要な情報を設定したときは、設定された情報に従って画素データを再構成して画像を生成する。【選択図】図１
2014220564.tif 000002
【特許請求の範囲】
【請求項１】
リフォーカス可能な画素データを再構成して画像を再生する画像再生装置において、
画像の再生の指示を取得する指示手段と、
前記画素データの再構成に必要な情報を設定する設定手段と、
前記設定手段が設定した再構成に必要な情報を更新するための情報を取得する更新手段と、
前記設定手段で設定された情報に従って、前記画素データを再構成して画像を生成する生成手段を備え、
前記設定手段は、前記画像の再生の指示が前記指示手段により取得された時は、前記再構成に必要な情報の初期情報を設定し、前記更新手段が前記更新のための情報を取得した時は、前記取得した更新のための情報に基づいて前記再構成に必要な情報を設定し、前記生成手段は、前記設定手段が再構成に必要な情報を設定したときは、設定された情報に従って前記画素データを再構成して画像を生成することを特徴とする画像再生装置。
【請求項２】
前記再構成に必要な情報は、前記生成手段で生成される画像の焦点位置および被写界深度のいずれかであり、前記更新のための情報は、焦点調節手段および絞り調節手段のいずれかから取得する操作の情報であり、前記設定手段は、前記絞り調節手段から取得された前記操作の情報に基づいて前記被写界深度を算出することを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記更新手段は、前記設定手段が前記焦点位置の初期情報を設定した時は、前記焦点調節手段を前記焦点位置の初期情報に従って初期化することを特徴とする請求項２に記載の画像再生装置。
【請求項４】
前記設定手段は、前記初期情報を、前記画素データ又は前記画像再生装置に予め設定されている情報から取得することを特徴とする請求項１乃至３のいずれか一項に記載の画像再生装置。
【請求項５】
前記更新手段は、前記画素データに係る撮影レンズの特性情報および前記焦点調節手段の特性情報をさらに取得し、前記設定手段は、前記撮影レンズの特性情報と前記焦点調節手段の特性情報とに基づいて前記再構成に必要な情報を設定し、前記撮影レンズの特性情報と前記焦点調節手段の特性情報との比較の結果に従って警告指示を生成することを特徴とする請求項２乃至４のいずれか一項に記載の画像再生装置。
【請求項６】
前記設定手段は、前記撮影レンズの特性情報を、前記焦点調節手段の特性情報で正規化して前記焦点位置を設定することを特徴とする請求項５に記載の画像再生装置。
【請求項７】
前記設定手段は、前記取得した特性情報に基づいて前記撮影レンズの焦点範囲と前記焦点調節手段の焦点範囲とを比較し、比較の結果に従って前記焦点位置を設定することを特徴とする請求項５に記載の画像再生装置。
【請求項８】
記録指示手段からの記録指示を取得し、前記記録指示に従って前記生成された画像を保存する記録手段を備えることを特徴とする請求項１乃至７のいずれか一項に記載の画像再生装置。
【請求項９】
撮影光学系で形成された被写体の光学像を撮像してリフォーカス可能な画素データを生成する撮像装置において、
前記撮像装置の動作モードを指示するモード指示手段と、
前記モード指示手段が撮影モードを指示している場合に、焦点調節のために前記撮影光学系を駆動する駆動手段と、
前記モード指示手段が撮影モードを指示している場合に、前記被写体の撮影を指示する撮影指示手段と、
前記モード指示手段が再生モードを指示している場合に、前記画素データを再構成して画像を生成する請求項１乃至８のいずれか一項に記載の画像再生装置を備え、
前記画像再生装置において取得される前記焦点調節手段および記録指示手段の操作の情報は、前記再生モードが指示された場合の前記駆動手段と撮影指示手段の操作の情報であることを特徴とする撮像装置。
【請求項１０】
前記撮影光学系の絞りを設定する絞り設定手段をさらに備え、前記画像再生装置において取得される絞り調整手段の操作の情報は、前記再生モードが指示されている場合の前記絞り設定手段の操作の情報であることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記撮影光学系は、前記撮像装置において着脱可能なレンズユニットを含み、前記画像再生装置において取得される撮影レンズの特性情報と焦点調節手段の特性情報は、それぞれ前記撮影モードが指示されているときに装着されていたレンズユニットの特性情報と前記再生モードが指示されているときに装着されているレンズユニットの特性情報であることを特徴とする請求項９又は１０に記載の撮像装置。
【請求項１２】
前記画像再生装置で生成された画像を表示する表示手段をさらに備え、前記表示手段は、前記画像再生装置において生成された前記警告指示に従って、警告画像を前記画像と合成して表示することを特徴とする請求項９乃至１１のいずれか一項に記載の撮像装置。
【請求項１３】
リフォーカス可能な画素データを再構成して画像を再生する画像再生方法において、
画像の再生の指示を取得する指示ステップと、
前記画素データの再構成に必要な情報を設定する設定ステップと、
前記設定手段が設定した再構成に必要な情報を更新するための情報を取得する更新ステップと、
前記設定ステップで設定された情報に従って、前記画素データを再構成して画像を生成する生成ステップを備え、
前記設定ステップは、前記画像の再生の指示が前記指示ステップで取得された時は、前記再構成に必要な情報の初期情報を設定し、前記更新ステップで前記更新のための情報を取得された時は、前記取得した更新のための情報に基づいて前記再構成に必要な情報を設定し、前記生成ステップは、前記設定ステップで再構成に必要な情報が設定されたときは、設定された情報に従って前記画素データを再構成して画像を生成することを特徴とする画像再生方法。
【請求項１４】
リフォーカス可能な画素データを再構成して画像を再生する画像再生装置を制御するためのプログラムであり、前記プログラムは、
コンピュータを、
画像の再生の指示を取得する指示手段、
前記画素データの再構成に必要な情報を設定する設定手段、
前記設定手段が設定した再構成に必要な情報を更新するための情報を取得する更新手段、
前記設定手段で設定された情報に従って、前記画素データを再構成して画像を生成する生成手段として機能させるプログラムコードを含み、
前記プログラムコードは、前記設定手段を、前記画像の再生の指示が前記指示手段により取得された時は、前記再構成に必要な情報の初期情報を設定し、前記更新手段が前記更新のための情報を取得した時は、前記取得した更新のための情報に基づいて前記再構成に必要な情報を生成して設定するよう機能させ、前記生成手段を、前記設定手段が再構成に必要な情報を設定したときは、設定された情報に従って前記画素データを再構成して画像を生成するよう機能させるプログラムコードを含むことを特徴とするプログラム。
【請求項１５】
請求項１４のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【請求項１６】
コンピュータを、請求項１乃至８のいずれか一項に記載された画像再生装置の各手段として機能させるプログラム。
【請求項１７】
コンピュータを、請求項１乃至８のいずれか一項に記載されたが画像再生装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ライトフィールドカメラで取得されたライトフィールドデータの画像再生装置に関し、特に再生時のリフォーカスや被写界深度の調整と調整後の画像の保存に係る画像再生装置、画像再生方法および撮像装置に関する。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向の情報をも取得可能な撮像装置（以下、ライトフィールドカメラ）が提案されている。例えば非特許文献１によれば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素に対して一つのマイクロレンズを対応させることで、マイクロレンズを通過した光が複数の画素によって入射方向別に画素信号に光電変換される。
【０００３】
このように取得された画素信号（ライトフィールド情報）に対して、「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を適用することで、任意の像面（リフォーカス面）にピントを合わせた画像を撮影後に再構成して再生することができる。なお、一つのマイクロレンズに対応した複数の画素の総和をとることで、通常の撮影画像を生成することもできる。
【０００４】
ユーザーがリフォーカスによる画像の再構成を必要とするケースとして、例えば撮影後に画像を確認すると所望の被写体にピントがあっていなかった場合が考えられる。従来のカメラであれば、所望の被写体にピントがあっていないは撮り直す必要があった。このため、特許文献１のように、撮影時にユーザーが所望の被写体へのフォーカス合わせを容易にする技術も考案されている。
【０００５】
これに対し、ライトフィールドカメラでは、撮影した画素信号を用いてリフォーカス画像を再構成することが可能なので、撮り直すことなく所望の画像が得られる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−９２３８７号公報
【特許文献２】特開２０１０−０９３４２２号公報
【非特許文献】
【０００７】
【非特許文献１】Ｒｅｎ．Ｎｇ、他７名、「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ」、Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ライトフィールド情報の画像データの再生又はプレビュー表示においては、表示画像のフォーカスや被写界深度の設定に対して撮影者または再生者の意図を反映させて、表示または画像を保存する必要がある。
【０００９】
さらに画像の再構成による表示には少なくともフォーカスと被写界深度の２つのパラメータが必要であるが、例えばカメラに搭載されている操作部材で直観的に操作する方法が確立されていない。
【００１０】
これに関連して、特許文献１には、ズームボタンによるズーム機能を撮影時のズームのみならず、再生時の表示画像のズーム設定にも利用する技術が開示されている。しかしながら、特許文献１では、ライトフィールドカメラの撮像画像までは考慮しておらず、フォーカスの再設定や被写界深度の変更については触れていない。
【００１１】
また、特許文献２には、撮影時に被写体を認識して被写体のみを距離グラフ上に表示し、撮影者は表示されたグラフ上の位置でフォーカスと被写界深度を指定し撮影を行う技術が開示されている。しかしながら、特許文献２では画像上のどの部分にピントが合うかを直接的かつ具体的に知ることが出来ないため、撮影者の意図通りのリフォーカス設定になっているかが分かりにくい。
【００１２】
そこで、本発明の目的は、ライトフィールドデータの再生時に、直観的でわかりやすい撮影しているような操作でフォーカスと被写界深度を設定して画像の編集と保存を可能にした画像再生装置および撮像装置を提供することである。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明によれば、リフォーカス可能な画素データを再構成して画像を再生する画像再生装置は、画像の再生の指示を取得する指示手段と、画素データの再構成に必要な情報を設定する設定手段と、設定手段が設定した再構成に必要な情報を更新するための情報を取得する更新手段と、設定手段で設定された情報に従って、画素データを再構成して画像を生成する生成手段を備え、設定手段は、画像の再生の指示が指示手段により取得された時は、再構成に必要な情報の初期情報を設定し、更新手段が更新のための情報を取得した時は、取得した更新のための情報に基づいて再構成に必要な情報を設定し、生成手段は、設定手段が再構成に必要な情報を設定したときは、設定された情報に従って画素データを再構成して画像を生成する。
【００１４】
任意のフォーカスにリフォーカス可能な画像を撮影または編集して表示デバイスに表示可能な撮像装置において、前記撮像装置の動作状態が画像の撮影を行う撮影モードか撮影済みの画像を編集する再生モードを判別可能なモード情報を出力するモード指定手段と、前記再生モード時は第１の焦点情報を出力し前記撮影モード時は第２の焦点情報するフォーカスレンズ移動手段と、前記再生モード時にリフォーカスした編集画像の記録指示を出力する記録指示手段と、前記撮影モード時はシャッターボタンの押下によって前記撮影済みの画像と前記第２の焦点情報を記憶媒体に記録し前記再生モード時は前記記録指示を受けて前記リフォーカスした編集画像を前記記憶媒体に記録する記録手段と、前記再生モード時に前記第１の焦点情報もしくは前記第２の焦点情報のいずれか一方を用いて第３の焦点情報を出力する設定調整部と、前記再生モード時に前記第３の焦点情報を用いて前記撮影済みの画像を編集し前記リフォーカスした編集画像を生成する画像編集手段とを備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、ライトフィールドデータの再生におけるフォーカスと被写界深度の設定を、撮影するときの操作感覚で直観的に行うことが可能となる。これにより、ライトフィールドデータの再生、表示、編集および保存を容易にする画像再生装置および撮像装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施例に係る画像再生装置を適用した撮像装置の要部の構成図。
【図２】本発明の第１の実施例に係る撮像装置の外観を概略的に示す図。
【図３】撮影画像の画角を例示するための図。
【図４】図３の撮影画像の距離毎のヒストグラムを示す図。
【図５】本発明の第１の実施例に係る画像再生装置の動作再生モードのフローチャートを示す図。
【図６】本発明の第１の実施例に係るが画像再生装置の動作のフローチャートを示す図。
【図７】本発明の第２の実施例に係る画像再生装置を適用した撮像装置の要部の構成図。
【図８】本発明の第２の実施例に係る撮像装置の外観を概略的に示す図。
【図９】本発明の第２の実施例に係る画像再生装置の動作再生モードのフローチャートを示す図。
【図１０】本発明の第２の実施例に係る画像再生装置の動作のフローチャートを示す図。
【図１１】本発明の第３の実施例に係る画像再生装置を適用した撮像装置の要部の構成図。
【図１２】本発明の第３の実施例に係る画像再生装置による警告表示の例を示す図。
【図１３】本発明の第３の実施例に係る正規化された距離毎の被写体検出頻度のヒストグラムを示す図。
【図１４】本発明の第３の実施例に係る画像再生装置の動作のフローチャートを示す図。
【図１５】本発明の第３の実施例に係る画像再生装置の動作フローチャートを示す図。
【図１６】本発明の第４の実施例に係る正規化をしていない場合の距離毎の被写体検出頻度のヒストグラムを示す図。
【図１７】本発明の第４の実施例に係る画像再生装置の動作のフローチャートを示す。
【発明を実施するための形態】
【００１７】
以下に、本発明の好ましい実施の形態を、添付の図面を参照して詳細に説明する。
【実施例１】
【００１８】
図１乃至図６を参照して、本発明の第1の実施例に係る画像再生装置を適用した撮像装置の構成をについて説明する。
【００１９】
図１は、本発明の第1の実施例に係る画像再生装置を適用したライトフィールドカメラである撮像装置１００の要部の構成図を示す。図１は、リフォーカス可能な画素データであるライトフィールドデータの再生、表示、記憶に関連する構成部分のみを示す。被写体の光学像を形成する撮影光学系、光学像を撮像する撮像素子、画素データを生成する画像処理部、それらの制御部等から構成されるライトフィールドデータの生成に関連する構成については、本発明に関連する部分を除いて省略する。なお、撮像装置全体の制御は、図示いていない制御部のＣＰＵが図示しないメモリに保持されているプログラムを実行して行う。
【００２０】
図１において、１０１は、撮像装置の動作モードを指示するモード指示部である。モード指示部１０１で切り替え可能なモードは少なくとも撮影モードと再生モード再生モードである。１０２は、フォーカスレンズ移動部である。撮影光学系を駆動することでフォーカス位置が変更された際は、フォーカスレンズ移動部１０２が焦点情報を出力する。１０３は、画像編集部である。画像編集部１０３は撮影時の設定を用いて撮影画像を再構成し、リフォーカス画像を編集する。１０４は、記録部である。記録部１０４は、撮影モードにおいては、撮影画像と撮影時の設定を、不図示の記憶媒体に記録し、再生モードにおいては、編集したリフォーカス画像を不図示の記憶媒体に記録する。１０５は、撮影モードにおいて撮影指示を与えるシャッターボタン部である。シャッターボタン部１０５は撮影モードにおいては、撮影画像を記録するための記録指示を出力し、再生モードにおいては、編集したリフォーカス画像を記録するための記録指示を出力する。１０６は、表示部である。表示部１０６は再生モードにおいては、編集したリフォーカス画像を不図示の表示デバイスに表示する。１０７は、撮影時の焦点情報と編集時の焦点情報を用いてリフォーカスに必要な焦点情報を生成し、画像編集部１０３に出力する設定調整部である。
【００２１】
図２は、本発明の第1の実施例に係る撮像装置の外観を概略的に示し、図１に示す部分と同様の部分は、同じ符号を付して示す。フォーカスレンズ移動部１０２やシャッターボタン部１０５は、ライトフィールドカメラでない従来のデジタル一眼レフカメラと同様の構成であり、再生モードの際の操作感が撮影時と比べて損なわれない構成であることが望ましい。例えば、フォーカスレンズ移動部１０２はレンズ筒の周囲にリング状に配置された回転可能なレンズ駆動手段で構成され、シャッターボタン部１０５はカメラ本体１００に配置された押下ボタンで構成されている。ただし、本実施例においては、これに限るものではなく、例えばカメラに配設されたタッチパネルや十字キーのＵＩ操作によってフォーカスの調整またはシャッターボタンの押下などの操作が行われてもよい。この点から、本実施例の画像再生装置は、ライトフィールドデータの入力が可能な情報処理装置等の装置にも適用することが可能であり、その場合、タッチパネルやマウスなどの指示デバイスの操作がフォーカスの調整またはシャッターボタンの押下の機能を果たせばよい。
【００２２】
図３は、撮像装置にて撮影した画像の画角の例を示す図である。図において、３００は、画角全体である。３０１乃至３０４は、特徴的な被写体を示している。本画像では、主要な被写体を被写体３０１とする。
【００２３】
図４は、図３に対応する距離毎の被写体検出頻度のヒストグラムを示す。図において、横軸は距離を示し、縦軸は出現頻度を表す。同図において、図３に示す部分に対応する部分は、同じ符号を付して示す。従って、３０１乃至３０４は、図３の被写体３０１乃至３０４に対応している。なお、４０１乃至４０３は本発明の本実施例の画像再生動作では取得しない情報に係るので、ここでの説明は割愛する。
【００２４】
図４に示すように、本実施例においては、フォーカスレンズ移動部１０２が設定可能なフォーカス距離は、カメラ位置を距離０として、距離０から距離１５までの１６段階とする。距離３に被写体３０１、距離７に被写体３０２、距離９に被写体３０３、距離１２に被写体３０４が存在しているものとする。
【００２５】
撮影モードの撮影では、不図示の絞り調整やホワイトバランスなどの画像処理における各種設定を用いて、シャッターボタン部１０５の記録指示に従い、記録部１０４にライトフィールドの原画像（以下、LFRAW画像と呼ぶ）を保持する。
【００２６】
ライトフィールド撮影では、ライトフィールドデータを用いてリフォーカス画像の生成が可能なことが特徴であるが、撮像素子やマイクロレンズアレイやレンズ特性によってリフォーカスが可能な範囲は有限である。このため、各種設定において主要なフォーカス位置をフォーカスレンズ移動部１０２によって設定して撮影してもよい。また、前述した撮影における各設定の設定値は、 LFRAW画像に関連付けられたデータとして保持されるか、あるいはLFRAW画像に含まれているものとする。
【００２７】
図５および図６を参照して、本実施例に係る撮像装置の再生モードでの動作について詳細に説明する。図５は、LFRAW画像が少なくとも1枚以上保持されている場合の再生モードのメインフローチャートを示し、図６は、図５の画像初期値取得に関する詳細フローチャートを示す。
【００２８】
Ｓ５００において、不図示の制御部による制御の下で、モード指示部１０１に従ってライトフィールドカメラ１００が再生モードに移行し、本再生動作が開始される。そして、Ｓ５０１にて、フォーカスレンズ移動部１０２の初期化の処理が行われる。この初期化動作は、図６に示すフローチャートに従って行われる。
【００２９】
Ｓ６００において、Ｓ５０１の初期化処理が開始すると、Ｓ６０１1にて画像編集部１０３は、LFRAW画像から焦点初期位置を取得する。例えば焦点初期位置は、被写体３０１である距離３が設定されているとする。また、焦点初期位置は、LFRAW画像からではなく、フォーカスレンズ移動部１０２がカメラ本体としての固定の値として予め設定されている位置であってもよい。
【００３０】
次いでＳ６０２にて、フォーカスレンズ移動部１０２は、画像編集部１０３に出力する焦点情報を距離３に設定する。Ｓ６０３では、フォーカスレンズ移動部１０２がフォーカス位置を距離３に設定する。この後、Ｓ６０４で、Ｓ５０１の初期化処理を終了する。
【００３１】
メインフローチャートに戻り、Ｓ５０２にて、画像編集部１０３は、記録部１０４からLFRAW画像を読み出し、LFRAW画像を距離３にフォーカスが合うように再構成して表示用画像データに編集する。表示用画像データは、不図示の表示デバイスのデータ形式に準拠した画像データである。編集された表示用画像データは表示部１０６に出力される。
【００３２】
次いで、Ｓ５０３にて、表示部１０６は、不図示の表示デバイスに表示用画像を表示し、Ｓ５０４にて記録部１０４がシャッターボタン部１０５からの記録指示を受け取ったかどうかを判定し、受け取っていた場合はＳ５０５、Ｓ５０６を実行し、受け取っていない場合はＳ５０７を実行する。
【００３３】
Ｓ５０５では、画像編集部１０３が、記録部１０４からLFRAW画像を読み出し、LFRAW画像をＳ５０１で受け取った焦点情報に従って再構成して保存用画像データに編集する。保存用画像データは、例えばライトフィールドデータでない画像の再生装置でも再生可能な画像形式であるJPEGフォーマットに準拠したデータ形式のデータである。編集が完了した保存用画像データは、記録部１０６出力され、Ｓ５０６にて記録部１０６が受け取った保存用画像データを保持する。
【００３４】
Ｓ５０７では、画像編集部１０３はフォーカスレンズ移動部１０２から焦点情報を受け取ったかどうかを判定する。焦点情報を受け取っていた場合は、Ｓ５０８を実行し、焦点情報を受け取っていない場合はＳ５０９を実行する。Ｓ５０８では、画像編集部１０３が焦点情報を、フォーカスレンズ移動部１０２から受け取った焦点情報に更新する。本実施例においては、例えばユーザーによりフォーカス位置が、フォーカスレンズ移動部１０２が操作されて、被写体３０２である距離７に変更された場合は、焦点情報を距離７に変更して画像編集部１０３に出力する。さらにＳ５０２において、画像編集部１０３はLFRAW画像を距離７にフォーカスが合うように再構成して表示用画像データに編集する。
【００３５】
Ｓ５０９では、モード切替が指示されたかどうかを判定し、指示されていない場合は、Ｓ５０４を実行する。以降、Ｓ５０９においてモード指示部１０１によるモード切り替えの指示が検出されるまでＳ５０２からＳ５０９の動作を繰り返し実行する。Ｓ５０９にてモード指示部１０１からモード切り替えが指示された場合は、不図示のライトフィールドカメラ全体の制御部が再生モードの終了処理を行う。次いで、Ｓ５１０で、再生モードを終了する。
【００３６】
本実施例では、フォーカスレンズ移動部１０２が出力する焦点情報が距離３から距離７に変更された際の画像の再構成による再生動作について説明したが、実際は被写体がない距離４などに焦点情報を変更して設定することも可能である。
【００３７】
以上、本発明によれば、撮影モードと再生モードにおいてフォーカスレンズ移動部１０２とシャッターボタン部１０５を兼用することで可能となる。これにより、再生モードにおいても、LFRAW画像から撮影時と同様の焦点調節の操作感で所望のフォーカスに合わせた画像を再構成して再生することが可能となる。
【実施例２】
【００３８】
次に、図３、図４、図７、図８、図９、図１０を参照して、本発明の第２の実施例に係る画像再生装置を適用した撮像装置の構成を説明する。なお、本実施例は、第１の実施例でのフォーカスレンズ移動部１０２およびシャッターボタン部１０５に加えて、絞り調整部も撮影時と再生時において兼用する撮像装置の画像再生動作を特徴とする。なお、図７乃至１０において、第１の実施例と同様の部分は同じ符号を付して示す。また、図３および図４については、第１の実施例において既に説明した部分のここでの説明は割愛する。
【００３９】
図４において、４０１、４０２、４０３はLFRAW画像で再構成（編集）可能な被写界深度を示す。４０１は距離２から距離１３にフォーカスが合っている、つまり被写体３０１乃至被写体３０４のすべてにフォーカスが合っている状態を示す。４０２は被写体３０１のみにフォーカスが合っている状態を示す。４０３は被写体３０２乃至被写体３０４にフォーカスが合っている状態を示す。被写界深度は説明の都合上、被写体のある位置を示しているが、被写体がない範囲を含めて設定してもよい。
【００４０】
図７は、本実施例に係る画像再生装置を適用したライトフィールドカメラである撮像装置１００の要部の構成を示す。図において、１０１、１０２、１０４、１０５、１０６は図１と同一である。７００は、ライトフィールドカメラ全体である。７０１は、撮影モード時と再生モード時において設定された絞り情報を、Ｆ値情報として出力する絞り調整部である。７０２は、焦点情報とＦ値情報よりフォーカス位置と被写界深度を算出し、設定情報として出力する設定調整部である。７０３は、LFRAW画像を設定情報に従って再構成し、表示用画像データもしくは保存用画像データに編集する画像編集部である。７０４は、撮影モード時においては、LFRAW画像と撮影の設定情報を不図示の記憶媒体に記録し、再生モードにおいては、LFRAW画像を編集したリフォーカス画像を不図示の記憶媒体に記録する記録部である。
【００４１】
図８は、本実施例に係る撮像装置の外観を概略的に示す図である。同図において、図７と同様の部分は同じ符号を付して示す。図７および図８に示すように、本実施例の撮像装置では、第1の実施例に加えて絞り調節部７０１が追加されている構成となっている。絞り調節部７０１は、フォーカスレンズ移動部１０２やシャッターボタン部１０５と同様に、ライトフィールドカメラでない従来のデジタル一眼レフカメラと同様の構成である。しかし、第１の実施例と同様に、再生モードの際の操作感が撮影時と比べて損なわれない構成であることが望ましい。例えば、ユーザによる回転操作により、絞り値、いわゆるＦ値を変更する構成とする。ただし、本実施例においてはこれに限るものではなく、例えばタッチパネルや十字キーのＵＩ操作によって絞り値の操作が行われてもよい。従って、第１の実施例と同様に、本実施例の画像再生装置は、ライトフィールドデータの入力が可能な情報処理装置等の装置にも適用することが可能である。
【００４２】
次に、図９および図１０を参照して、本実施例に係る撮像装置の再生モードでの動作について詳細に説明する。図９は、LFRAW画像が少なくとも1枚以上保持されている場合の再生モードのメインフローチャートを示す。図１０は、図９の画像初期値取得に関する詳細フローチャートを示す。
【００４３】
Ｓ９００において、不図示の制御部による制御の下で、モード指示部１０１に従ってライトフィールドカメラ７００が再生モードに移行して、本編集動作が開始される再生モード。そして、Ｓ９０１にて、フォーカスレンズ移動部１０２と絞り調整部７０１の初期化処理を行う。
【００４４】
Ｓ９０１の初期化処理は、図１０に示すフローチャートのＳ１０００において開始される。Ｓ１００１にて、画像編集部７０３はLFRAW画像からＦ値を取得する。例えば被写界深度の初期情報としては、被写体３０１のみに焦点が合っているＦ値４０２に対応した被写界深度４０２が設定されるとする。また、被写界深度初期値は、LFRAW画像でなく絞り調整部７０１が、カメラ本体としての固定の値を有する構成であってもよい。次いで、Ｓ１００２にて、絞り調整部７０１がＦ値情報をＦ値４０２に設定する。
【００４５】
図１０において、Ｓ６０１乃至Ｓ６０３は第１の実施例と同様なので、ここでの説明は省略する。
【００４６】
図９に示すメインフローチャートに戻り、Ｓ９０２にて、設定調整部７０２はＦ値４０２に対応する被写界深度を算出し、算出した被写界深度４０２を設定情報として出力する。さらに画像編集部７０３はLFRAW画像を設定情報に従って焦点情報が距離３で被写界深度４０２の範囲にフォーカスが合うように再構成して表示用画像データに編集する。表示用画像データは、不図示の表示デバイスのデータ形式に準拠した画像データである。編集された表示用画像データは、表示部１０６に出力される。
【００４７】
Ｓ５０３乃至Ｓ５０８は、第１の実施例と同様のため、説明を割愛する。
【００４８】
Ｓ９０９にて、設定調整部７０２は、絞り調整部７０１からＦ値情報を受け取っているかどうかを確認する。Ｆ値情報を受け取っている場合は、Ｓ９１０を実行し、受け取っていない場合はＳ９１１を実行する。
【００４９】
Ｓ９１０では、設定調整部７０２が、絞り調整部７０１から受け取ったＦ値情報から被写界深度を算出し、画像編集部７０３に出力する。本実施例においては、例えば、ユーザーがＦ値をＦ値４０１に変更する操作をした場合は、絞り調整部７０１は、Ｆ値４０１を設定調整部７０２に出力する。設定調整部７０２はＦ値４０１から被写界深度を算出し、被写界深度４０１を画像編集部７０３に出力する。
【００５０】
さらにＳ９０２において、画像編集部７０３はLFRAW画像を距離７と被写界深度４０１の範囲にフォーカスが合うように再構成して表示用画像データに編集する。
【００５１】
S９１１にてモード切替が指示されていない場合は、Ｓ５０４を実行する。以降、Ｓ９１１にて、モード指示部１０１によりモード切り替え指示が検出されるまで、Ｓ９０２からＳ９１１11を繰り返し実行する。Ｓ９１１にてモード指示部１０１によりモード切り替え指示が検出された場合は、不図示のライトフィールドカメラ全体の制御部が再生モードの終了処理を行う。Ｓ９１２において、本再生モードの動作を終了する。
【００５２】
以上、本実施例では、フォーカスレンズ移動部１０２が出力する焦点情報が距離３から距離７に変更され、絞り値調整部が出力するＦ値情報がＦ値４０２からＦ値４０１に変更された際の画像再生動作について説明した。しかし、焦点情報の変更については、実施例１と同様に、例えば被写体がない距離４などに対して設定することも可能である。また、Ｆ値情報の設定変更についても、焦点情報と同様である。
【００５３】
本実施例によれば、再生モードフォーカスレンズ移動部１０２(焦点調節部)、シャッターボタン部１０５および絞り調整部７０１を撮影モードと再生モードにおいて兼用することが可能となる。これにより、再生モード撮影時の操作感で所望のフォーカスに合わせた画像をLFRAW画像から再構成することが可能となる。
【実施例３】
【００５４】
次に、図３、図９、図１１、図１２、図１３、図１４、図１５を参照して、本発明の第３の実施例を説明する。本実施例は、第１又は第２の実施例において、撮像装置がカメラ本体とそれに着脱可能なフォーカスレンズ移動部を有する場合に行われる画像再生動作の例である。ここで、例えば着脱可能なフォーカスレンズ移動部を有するライトフィールド撮像装置とは、例えばフォーカスレンズ移動部と一体化していて着脱可能であるレンズユニットを有する撮像装置である。なお、図１１乃至１５において、第１および第２の実施例と同様の部分は、同じ符号を付して示す。また、図３は第１および第２の実施例と同様であるので、ここでの説明は省略する。図９についても、第２の実施例と異なる動作について説明し、その他の動作については第２の実施例と同様のため、ここでの説明を割愛する。
【００５５】
図１１は、本実施例に係る画像再生装置を適用したライトフィールドカメラである撮像装置の要部の構成図である。図において、１０１、１０４、１０５、１０６、７０１、７０３は第２の実施例と同様のため、その説明を割愛する。
【００５６】
１１００はカメラ本体である。１１０１はカメラ本体１１００と着脱可能なレンズユニットである。１１０２は、レンズユニット１１０１と一体化しているフォーカスレンズ移動部である。１１０３は、フォーカスレンズ移動部１１０２からの焦点情報と絞り調整部７０１からのＦ値情報を受け取り、フォーカス位置と被写界深度を算出し、その設定情報を画像編集部７０３に出力する設定調整部である。設定調整部１１０３は、レンズユニット１１０１が撮影モード時と再生モード時で異なる特性のレンズユニットであった場合に警告指示を後述する表示部１１０４に出力する。設定調整部１１０３は焦点可能範囲の情報を保持している。ここで、焦点可能範囲とは、焦点位置を変更する際に設定可能な範囲を示す値である。１１０４は、不図示の表示デバイスに表示用画像データを表示する表示部である。表示部１１０４は、設定調整部１１０３より警告指示を受け取った際に、表示用画像データに警告画像を合成して表示デバイスに表示する。
【００５７】
図１２は、フォーカス特性の異なるレンズが装着されていた際に表示する警告画面の例を示す図である。なお、同図において、符号１０５、７０１、１１００を付した部分は、図１１において同一の符号を付した部分に対応している。図１２において、１２００は、不図示の表示デバイスであり、表示部１０６によって表示用画像データが表示される。１２０１は、設定調整部１１０３にて警告指示が出力された際に表示部１１０４が表示用画像データに合成した警告画像である。
【００５８】
図１３は、本実施例に係る距離毎の被写体検出頻度のヒストグラムであり、横軸はフォーカスレンズ移動部１１０２で設定可能な距離、縦軸は出現頻度を表す。図３のヒストグラムと異なる点は、本実施例の場合、設定可能な距離が正規化されていることである。
【００５９】
図１３において、３０１乃至３０４は図３に同じ符号で示される被写体を示している。距離(a)、距離(b)、距離(c)は、それぞれ特性の異なるフォーカスレンズ移動部１１０２の距離設定をLFRAW画像の実際の距離に合わせて正規化した目盛りである。本実施例では、LFRAW画像を撮影したレンズの特性に従った目盛りを距離(b)とし、１６段階の距離設定とする。正規化により、距離(a)のレンズは８段階、距離(c)のレンズは３２段階の特性を有するものとする。また各距離に対応した焦点可能範囲は、距離(a)は焦点範囲(a)で距離０から距離７、距離(b)は焦点範囲(b)で距離０から距離１５、距離(c)は焦点範囲(c)で距離０から距離３１とする。
【００６０】
次に、図９、図１４および図１５を参照して、本実施例に係る撮像装置の再生モードでの動作について説明する。本実施例の動作は、第２の実施例の図９のフローチャートに従った動作と同様であるが、Ｓ９０１の処理が第２の実施例と異なる。
【００６１】
図１４と図１５は、図９のＳ９０１の画像初期値取得処理（焦点位置の正規化処理）の詳細フローチャートを示す。再生モード
【００６２】
Ｓ１４００で焦点位置初期化動作を開始し、Ｓ１４０１で、設定調整部１１０３は装着レンズの特性情報を取得する。ここでの装着レンズの特性情報とは、カメラ本体１１００に現在装着されているレンズユニット１１０１の種類が判別可能な個体情報である。
【００６３】
Ｓ１４０２で、設定調整部１１０３は撮影レンズの特性情報を取得する。ここでの撮影レンズの特性情報とは、LFRAW画像の撮影時にカメラ本体１１００に装着されていたレンズユニット１１０１の種類が判別可能な個体情報である。
【００６４】
Ｓ１４０３で、設定調整部１１０３は装着レンズの特性情報と撮影レンズの特性情報を比較する。両者が同一である場合は、Ｓ１４０４へ分岐し、同一でない場合はＳ１４１０に分岐する。
【００６５】
Ｓ１４１０では、設定調整部１１０３は、現在装着中されているレンズユニット１１０１のフォーカスレンズ移動部１１０２で実現可能な焦点範囲(a)を取得する。次いで、Ｓ１４１１で、設定調整部１１０３はLFRAW画像の撮影時に装着していたレンズユニット１１０１のフォーカスレンズ移動部１１０２で実現可能な焦点範囲(b)を取得する。そして、Ｓ１４１２で、設定調整部１１０３は焦点範囲(a)と焦点範囲(b)を比較し、同一である場合はＳ１４０４に分岐し、同一でない場合はＳ１４１３に分岐する。
【００６６】
Ａ１４０４では、画像編集部７０３はLFRAW画像から焦点初期位置を取得する。例えば焦点初期位置として、被写体３０１である距離３が設定されているとする。
【００６７】
Ｓ１４１３では、フォーカス調整処理を行う。ここでフォーカス調整処理とは、設定調整部１１０３が焦点範囲の正規化するとともに焦点初期位置を取得し、焦点情報を生成して画像編集部７０１に送信することである。
【００６８】
Ｓ１４１３での処理を、図１５に示すフローチャートを用いて説明する。
【００６９】
Ｓ１５００において、本フォーカス調整処理を開始する。Ｓ１５０１で、設定調整部１１０３が焦点範囲(b)を焦点範囲(a)に正規化する。例えば、焦点範囲(a)は距離(a)に、焦点範囲(b)は距離(b)に対応する。正規化前の焦点距離(b)での各被写体の距離は、被写体３０１が３、被写体３０２が７、被写体３０３が９、被写体３０４が１２である。焦点距離(a)に正規化した後の各被写体の距離は、被写体３０１が１、被写体３０２が３、被写体３０３が４、被写体３０４が６となる。
【００７０】
Ｓ１５０２にて、設定調整部１１０３はLFRAW画像から焦点初期位置を取得する。例えば焦点初期位置として、撮影時の焦点位置である被写体３０１の距離３が設定されているとする。次いで、Ｓ１５０３において、設定調整部１１０３は取得した距離３を正規化して焦点初期位置を距離１とする。Ｓ１５０４では、フォーカス調整処理を終了する。
【００７１】
図１４のフローチャートに戻り、Ｓ１４１４で、設定調整部１１０３は表示部１１０４に警告指示を出力する。
【００７２】
その後、Ｓ１４０５にて、フォーカスレンズ移動部１１０２は設定調整部１１０３に出力する焦点情報を距離１とする。
【００７３】
次いで、Ｓ１４０６にて、フォーカスレンズ移動部１１０２はフォーカス位置を距離１にし、Ｓ１４０６で、焦点位置初期化処理を終了する。
【００７４】
上述した本実施例の焦点位置初期化処理を行った後、表示部１１０４が警告指示を受け取っていた場合は、Ｓ９０２の表示画像編集において、図１２の１２０１の様に警告画像を表示用画像に合成する。
【００７５】
また、Ｓ５０８においても、Ｓ１４１３のフォーカス調整処理を行いフォーカス位置の正規化を行う。例えば焦点範囲(b)が、距離(c)の様に、再生モード時のレンズユニット１１０１より撮影モード時のレンズユニット１１０１の方が設定可能な距離の段階数が多い場合においても、図１３の様に正規化を行うことで再生が可能となる。
【００７６】
また絞り調整部７０１においても同様に正規化を行うことでレンズユニット１１０１に絞り調整部７０１と一体化することが可能であり、その際は設定調整部１１０３をレンズユニット１１０１に含めても良い。
【００７７】
また、上述の説明では、第２の実施例に（図９)本実施例を適用した例を説明したが、第１の実施例(図５)に本実施例を適用してもよい。
【００７８】
以上、本実施例によれば、フォーカスレンズ移動部とレンズが一体となって着脱可能なレンズユニットを有するライトフィールドカメラにおいて、撮影時の操作感を損なうことなく所望のフォーカス画像を生成可能となる。特に、撮影モードと再生モードでフォーカスレンズ移動部が異なる特性を持つ場合でも、両モードにおいて撮影時の操作感を損なうことなく、フォーカスレンズ移動部１０２とシャッターボタン部１０５を兼用することで可能となる。
【実施例４】
【００７９】
以下、図３、図９、図１１、図１２、図１４、図１６、図１７を参照して、本発明の第４の実施例を説明する。本実施例は、着脱可能なフォーカスレンズ移動部を有するライトフィールド撮像装置において、撮影モードと再生モードでフォーカスレンズ移動部の特性が異なっても、フォーカス位置の正規化をせずにLFRAW画像の再生を行う例である。図１６および図１７において、第１および第２の実施例と同様の部分は同じ符号を付して示す。また、図３、図１１、図１２は、第３の実施例と同様のため、ここでの説明を割愛する。図９、図１４については、第３の実施例と異なる動作について説明し、その他は第３の実施例と同様のため、ここでの説明を割愛する。
【００８０】
図１６は、本実施例に係る距離毎の被写体検出頻度ヒストグラムを示す。同図において、横軸はフォーカスレンズ移動部で設定可能な距離、縦軸は出現頻度を表す。符号３０１乃至３０４は、図３において同じ符号で示される被写体に対応している。距離(d)、距離(e)、距離(f)は、それぞれ特性の異なるフォーカスレンズ移動部１１０２の距離設定を表す目盛りである。
【００８１】
本実施例では、LFRAW画像を撮影したレンズユニットの特性に従った目盛りを距離(e)とする。距離(e)は１６段階の距離設定となっている。距離(d)のレンズは８段階、距離(f)のレンズは３２段階とする。また各距離に対応した焦点可能範囲は、距離(d)では焦点範囲(d)で距離０から距離７、距離(e)では焦点範囲(e)で距離０から距離１５、距離(f)では焦点範囲(f)で距離０から距離３１とする。
【００８２】
図１７は、図１４のＳ１４１３でのフォーカス調整動作の詳細なフローチャートを示す。
【００８３】
まず、撮影モード時は焦点範囲(e)のレンズユニットで、再生モード時は焦点範囲(d)のレンズユニットが装着されている場合について、図９、図１４、図１７を用いて本実施例の再生モードにおける画像再生動作を説明する。
【００８４】
Ｓ１４１０で、設定調整部１１０３は再生モード時で装着されているレンズユニット１１０１のフォーカスレンズ移動部１１０２で実現可能な焦点範囲(d)を取得する。Ｓ１４１１で、設定調整部１１０３はLFRAW画像の撮影時に装着していたレンズユニット１１０１のフォーカスレンズ移動部１１０２で実現可能な焦点範囲(e)を取得する。Ｓ１４１２で、設定調整部１１０３は焦点範囲(d)と焦点範囲(e)を比較し、同一である場合はＳ１４０４に分岐し、同一でない場合はＳ１４１３に分岐する。
【００８５】
ここで図１７を参照して、Ｓ１４１３フォーカス調整動作を説明する。
【００８６】
Ｓ１７００で、フォーカス調整を開始する。次いで、Ｓ１７０１にて、設定調整部１１０３は、装着中のレンズユニットの焦点範囲(d)とLFRAW画像で使用したレンズユニットの焦点範囲(e)と比較し、どちらの範囲が狭いかを判定する。ここでは焦点範囲(d)のほうが狭いので、処理はＳ１７０２に分岐する。Ｓ１７０２では、設定調整部１１０３は焦点可能範囲を焦点範囲(d)とする。
【００８７】
次いで、Ｓ１７０３で、設定調整部１１０３はLFRAW画像の焦点初期位置である距離３を取得する。そして、Ｓ１７０４にて、設定調整部１１０３は焦点初期位置が装着中のレンズの焦点範囲(d)に含まれているか判定し、ここでは含まれるのでＳ１７０５に分岐し、Ｓ１７０５でフォーカス調整を終了する。
【００８８】
次に、撮影モード時は焦点範囲(e)のレンズユニットで、再生モード時は焦点範囲(f)のレンズユニットが装着されている場合について、図９、図１４、図１７を参照して本実施例の焦点位置を正規化しないフォーカス調整動作再生モードを説明する。
【００８９】
Ｓ１４１０で、設定調整部１１０３は再生モード時で装着しているレンズユニット１１０１に関するフォーカスレンズ移動部１１０２で実現可能な焦点範囲(f)を取得する。Ｓ１４１１で、設定調整部１１０３はLFRAW画像の撮影時に装着していたレンズユニット１１０１に関するフォーカスレンズ移動部１１０２で実現可能な焦点範囲(e)を取得する。次いで、Ｓ１４１２で設定調整部１１０３は焦点範囲(f)と焦点範囲(e)を比較し、同一である場合はＳ１４０４に分岐し、同一でない場合はＳ１４１３に分岐する。
【００９０】
ここで図１７を参照して、Ｓ１４１３フォーカス調整動作を説明する。
【００９１】
Ｓ１７００でフォーカス調整を開始する。
【００９２】
Ｓ１７０１にて、設定調整部１１０３は、焦点範囲の比較結果として焦点範囲(e)のほうが狭いのでＳ１７１０に分岐する。Ｓ１７１０で、設定調整部１１０３は焦点可能範囲を焦点範囲(e)とする。
【００９３】
Ｓ１７０３で、設定調整部１１０３はLFRAW画像から焦点初期位置として距離３を取得する。次いで、Ｓ１７０４にて、設定調整部１１０３は焦点初期位置が現在装着されているレンズユニットの焦点範囲である距離(e)に含まれているかどうかを判定し、含まれている場合はＳ１７０５に分岐し、含まれていない場合はＳ１７２０に分岐する。ここでは含まれるので、処理はＳ１７０５に分岐する。
【００９４】
なお本実施例では分岐しないが、Ｓ１７２０では、フォーカスレンズ移動部１１０２は焦点初期位置として装着されているレンズユニットの焦点範囲（ｄ）の最大値を設定する。これは、例えば焦点範囲(d)における距離７に相当する。ただし、焦点初期位置は焦点範囲の最大値に限るものではなく任意の値でもよい。
【００９５】
その後、Ｓ１７０５でフォーカス調整を終了する。
【００９６】
なお、図９のＳ５０７において、フォーカスレンズ移動部が出力する焦点情報が焦点可能範囲を超える距離になることが想定される。例えば、距離１６乃至距離３１の時である。その際は、Ｓ５０８において、設定調整部１１０３は焦点情報を焦点可能範囲の最大値である距離１５とする。つまり距離１５以上の設定がフォーカスレンズ移動部１１０２に設定されても表示用画像データは変わらない。
【００９７】
また本実施例では、図１６の距離(d)、距離(e)、距離(f)を距離０の位置を基準として対応させているが、距離０に限らず任意の位置で対応させてもよい。その際は、焦点可能範囲の設定を実現可能なより狭い範囲の距離とする。
【００９８】
また、絞り調整部７０１においても同様の動作をさせることでレンズユニット１１０１に絞り調整部７０１と一体化することが可能であり、その際は設定調整部１１０３をレンズユニット１１０１に含めても良い。
【００９９】
また、上述の説明では、第２の実施例に（図９)本実施例を適用した例を説明したが、第１の実施例(図５)に本実施例を適用してもよい。
【０１００】
以上、本実施例によれば、フォーカスレンズ移動部とレンズが一体となって着脱可能なライトフィールドカメラにおいても、所望のフォーカス画像を生成可能となる。特に、撮影モードと再生モードでフォーカスレンズ移動部が異なる特性を持つ場合でも、撮影時の操作感が特性の差異により限定されることはあるが、両モードにおいてフォーカスレンズ移動部１０２とシャッターボタン部１０５を兼用することで可能となる。
【０１０１】
上述した実施形態において図のフローチャートに示した各処理は、各処理の機能を実現する為のプログラムコードを含むプログラムをメモリから読み出して制御部１２１８のＣＰＵが実行することによりその機能を実現させるものである。
【０１０２】
尚、上述した構成に限定されるものではなく、図のフローチャートに示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。
【０１０３】
また、図のフローチャートに示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【０１０４】
また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。
【０１０５】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１０６】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１０７】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【０１０８】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図１】
2014220564.tif 000003
【図２】
2014220564.tif 000004
【図３】
2014220564.tif 000005
【図４】
2014220564.tif 000006
【図５】
2014220564.tif 000007
【図６】
2014220564.tif 000008
【図７】
2014220564.tif 000009
【図８】
2014220564.tif 000010
【図９】
2014220564.tif 000011
【図１０】
2014220564.tif 000012
【図１１】
2014220564.tif 000013
【図１２】
2014220564.tif 000014
【図１３】
2014220564.tif 000015
【図１４】
2014220564.tif 000016
【図１５】
2014220564.tif 000017
【図１６】
2014220564.tif 000018
【図１７】
2014220564.tif 000019