(57)【要約】【課題】インテリジェント多重露光。【解決手段】本発明に係る画像形成方法の一態様は、第１フレームを撮影し、前記第１フレームを複数のピクセルとしてメモリに記憶する第１ステップと、前記第１フレームに対応する第２フレームを撮影し、前記第２フレームを複数のピクセルとして検出し、前記第１フレームに含まれる第１ピクセルが有する第１閾値と前記第２フレームに含まれる第２ピクセルが有する第２閾値とを比較する第２ステップと、前記第１フレームの複数のピクセルのうち前記第１ピクセルを前記第２フレームに含まれる前記第２ピクセルに置き換えて前記メモリに記憶する第３ステップと、を含む、ことを特徴とする。【選択図】図４
2008104187.tif 000002
【特許請求の範囲】
【請求項１】
第１フレームを撮影し、前記第１フレームを複数のピクセルとしてメモリに記憶する第
１ステップと、
前記第１フレームに対応する第２フレームを撮影し、前記第２フレームを複数のピクセ
ルとして検出し、前記第１フレームに含まれる第１ピクセルが有する第１閾値と前記第２
フレームに含まれる第２ピクセルが有する第２閾値とを比較する第２ステップと、
前記第１フレームの複数のピクセルのうち前記第１ピクセルを前記第２フレームに含ま
れる前記第２ピクセルに置き換えて前記メモリに記憶する第３ステップと、を含む、
ことを特徴とする画像形成方法。
【請求項２】
請求項１に記載の画像形成方法において、
前記第２ステップにおいて、前記第１閾値が前記第２閾値よりも大きい、
ことを特徴とする画像形成方法。
【請求項３】
請求項１に記載の画像形成方法において、
前記第２ステップにおいて、前記第１閾値が前記第２閾値よりも小さい、
ことを特徴とする画像形成方法。
【請求項４】
請求項１乃至３のいずれか一項に記載の画像形成方法において、
前記第１閾値が、輝度パラメータ又は色差パラメータである、
ことを特徴とする画像形成方法。
【請求項５】
請求項１乃至４のいずれか一項に記載の画像形成方法において、
前記第１フレームが第１の露光時間で撮影され、前記第２フレームが第２の露光時間で
撮影され、前記第１の露光時間と前記第２の露光時間とが各々調整可能である、
ことを特徴とする画像形成方法。
【請求項６】
請求項１乃至４のいずれか一項に記載の画像形成方法において、
前記第１フレームが第１の露光時間で撮影され、前記第２フレームが第２の露光時間で
撮影され、前記第１の露光時間と前記第２の露光時間との間のフレーム間期間が調整可能
である、
ことを特徴とする画像形成方法。
【請求項７】
請求項１乃至６のいずれか一項に記載の画像形成方法において、さらに、
前記第１フレームに対応する第３フレームを撮影し、前記第３フレームを複数のピクセ
ルとして検出し、前記第１フレームに含まれる第４ピクセルが有する第４閾値と前記第３
フレームに含まれる第３ピクセルが有する第３閾値とを比較する第４ステップと、
前記第１フレームの複数のピクセルのうち前記第４ピクセルを前記第３フレームに含ま
れる前記第３ピクセルに置き換えて前記メモリに記憶する第５ステップと、を含む、
ことを特徴とする画像形成方法。
【請求項８】
比較ユニットを含み、
前記比較ユニットが、第１フレームが撮影され、前記第１フレームが複数のピクセルと
して記憶され、前記第１フレームに対応する第２フレームが撮影され、前記第２フレーム
が複数のピクセルとして検出されたときに、前記第１フレームに含まれる第１ピクセルが
有する第１閾値と前記第２フレームに含まれる第２ピクセルが有する第２閾値とを比較す
るものである、
ことを特徴とする集積回路。
【請求項９】
請求項８に記載の集積回路において、さらに、
前記第１フレームの複数のピクセルを記憶するメモリを含む、
ことを特徴とする集積回路。
【請求項１０】
請求項９に記載の集積回路において、さらに、
前記第１フレームの複数のピクセルのうち前記第１ピクセルを前記第２フレームに含ま
れる前記第２ピクセルに置き換えて前記メモリに記憶するものである、
ことを特徴とする集積回路。
【請求項１１】
請求項８乃至１０のいずれか一項に記載の集積回路を含む、
ことを特徴とする画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、２つ以上のフレームの画像データから、多重露光画像を形成するため
の方法および装置に関するものである。
【背景技術】
【０００２】
２つの相異なる画像に対して、単一のフレームのフィルムを、２回露光することによっ
て作られる写真は、「二重露光」と呼ばれる。生じた写真は、第１の画像の上に重ね合わ
された第２の画像を示す。フィルムまたは画像センサが、複数の相異なる画像に対して、
複数回露光される場合、その技術は、「多重露光」と呼ばれる。
【０００３】
多重露光技術の１つの使用法は、動いている被写体の多重画像の写真を作成することで
ある。露光間隔時間を変えることによって、種々の効果を得ることができる。例えば、落
下しつつある被写体の軌道を図解する写真のような科学的な写真においては、比較的少な
い被写体画像が、その軌道に沿った相異なる点で捕捉されるように、各露光が、比較的長
い時間周期で分離されることがある。芸術的な効果を狙って撮られる写真におけるような
、他の場合においては、非常に多数の被写体画像が捕捉されるように、各露光は、比較的
短い時間周期で分離される。例えば、夜に走行中の自動車のヘッドライトを示す写真にお
いて、複数の、間隔を置かない露光が、生じる写真中のヘッドライトを、光の筋として描
き出す。
【０００４】
多重露光画像を作成する際に生じ得る１つの問題は、フィルムが、あまりに過剰な光で
露光されると、像が、露光過度になってしまうということである。例えば、人間の第１お
よび第２の画像が、同一の背景の前で捕捉されたとき、背景内の被写体は、露光過度の結
果として、「白っぽくなった」ように見えることがある。したがって、多重露光画像が作
成される画像は、注意深く制御された照明条件の下で撮る必要があるであろう。写真家、
特に、経験の浅い写真家は、照明条件に対する適正な制御を働かせ得ないであろうし、そ
の結果として、結局、不満足な多重露光画像を撮ることになるであろう。さらに、照明条
件を適正に制御することが不可能である場合もあるであろう。例えば、野外撮影において
、天候、および、夜の都市光のような近隣の周辺光源が、経験を積んだ写真家さえも制御
の範囲を超える。
【０００５】
人間の第１および第２の画像が、同一の背景の前で捕捉されるときに生じる、別の１つ
の関連問題は、それらの人間の画像が、背景と混ぜ合わせられるために、それらの人間の
画像は、それらの画像が単一露光画像において見られるよりも、はっきりと認識されなく
なるということである。下記に記述される、図８を参照されたい。
【０００６】
二重露光画像を作成する際に遭遇する可能性のある、さらなる１つの問題は、写真家が
、第１の画像上に、第２の画像の全体を重ね合わせることは望んでいないときに発生する
。例えば、写真家が、第１の画像上に、第２の画像の背景全体ではなくて、前景にある、
興味のあるただ１つの被写体だけを重ね合わせたいと思うかもしれない。
【０００７】
したがって、望ましくない照明および画像の問題に対する解決法が、望まれる。
【０００８】
デジタル・カメラが、急激に、従来のフィルム・カメラに取って代わりつつある。従来
、フィルムで使用されているが、多重露光技術を、２回以上露光して、単一のフレームを
作り出すことができる画像センサで用いることができる。
【０００９】
写真家が、デジタル・カメラを用いて、多重露光画像を作成しようとするときに遭遇す
る１つの問題は、そのカメラが、限られた機能しか備えていないかもしれないということ
である。例えば、多重露光能力を備えたデジタル・カメラは、多くの場合、その露光数を
、２〜１０露光程度の、少数の露光数に制限している。しかしながら、いくつかの状況に
おいては、写真家は、画像センサを、多数の相異なる画像に対して、多数回露光させるこ
とを望む。例えば、写真家は、暗い夜に、１０時間の期間にわたって、星の６００露光画
像を撮りたいと望むかもしれない。恐らく、デジタル・カメラが多数の画像を捕捉するこ
とができる多重露光機能を欠く理由は、デバイスのコストを最小限に抑えるためであろう
。
【００１０】
写真家が多重露光画像を作成することを望む際に遭遇する、別の１つの問題は、カメラ
が、多重露光機能を、完全に欠いているかもしれないということである。これは、とりわ
け、画像センサが、携帯電話のような別のデバイス内に一体化されている場合に当てはま
る。カメラ付き携帯電話が多重露光機能を欠く理由は、デバイスのコストを最小限に抑え
るためである。しかしながら、写真家が、予期しない状況において、「シャッター・チャ
ンス」に遭遇することは、よくあることである。写真家は、ほとんど常に、自分のカメラ
付き携帯電話を携行しているから、シャッター・チャンスを生かすための唯一の方法が、
自分のカメラ付き携帯電話で、そのショットを撮ることであるのは、よくあることである
。
【００１１】
【特許文献１】米国特許出願公開第２００１００２１２２４号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１２】
したがって、デジタル・カメラで用いるための、多数回の露光を捕捉することができる
低コストの多重露光機能が、望まれる。さらに、カメラ付き携帯デバイスで用いるための
、低コストの多重露光機能が、望まれる。
【００１３】
デジタル写真を操作するための特殊用途のソフトウェアを用いて、多重露光効果を生み
出すことは可能である。写真編集用ソフトウェアを用いることの欠点に、１つの写真を作
成するために、複数の画像のファイルとして、カメラ内のストレージ要求を増大させなけ
ればならなくなるということが含まれる。メモリ要求を増大させると、コストおよび消費
電力が、増加する。さらに、特殊用途のソフトウェアは、写真家が、そのソフトウェア、
および、ソフトウェアを実行するためのパーソナル・コンピュータを購入することを要求
する。これは、写真家に対して、コストを増加させる。さらに、写真家は、ソフトウェア
を如何に用いて、複数の画像を組み合わせるかを学ばなければならない。さらに、写真家
は、画像が捕捉されてからずっと後でしか、多重露光画像を作成する試みの結果を見るこ
とができない。
【００１４】
したがって、画像捕捉と同時に、デジタル・カメラに多重露光効果を生み出す、使用法
が簡単で、安価な装置が、必要である。
【００１５】
それゆえ、２つ以上のフレームの画像データから多重露光画像を作成する方法および装
置が、必要である。
【課題を解決するための手段】
【００１６】
本発明に係る画像形成方法の一態様は、第１フレームを撮影し、前記第１フレームを複
数のピクセルとしてメモリに記憶する第１ステップと、前記第１フレームに対応する第２
フレームを撮影し、前記第２フレームを複数のピクセルとして検出し、前記第１フレーム
に含まれる第１ピクセルが有する第１閾値と前記第２フレームに含まれる第２ピクセルが
有する第２閾値とを比較する第２ステップと、前記第１フレームの複数のピクセルのうち
前記第１ピクセルを前記第２フレームに含まれる前記第２ピクセルに置き換えて前記メモ
リに記憶する第３ステップと、を含む、ことを特徴とする。
【００１７】
上記画像形成方法において、前記第２ステップにおいて、前記第１閾値が前記第２閾値
よりも大きい、ことが好ましい。
【００１８】
上記画像形成方法において、前記第２ステップにおいて、前記第１閾値が前記第２閾値
よりも小さい、ことが好ましい。
【００１９】
上記画像形成方法において、前記第１閾値が、輝度パラメータ又は色差パラメータであ
る、ことが好ましい。
【００２０】
上記画像形成方法において、前記第１フレームが第１の露光時間で撮影され、前記第２
フレームが第２の露光時間で撮影され、前記第１の露光時間と前記第２の露光時間とが各
々調整可能である、ことが好ましい。
【００２１】
上記画像形成方法において、前記第１フレームが第１の露光時間で撮影され、前記第２
フレームが第２の露光時間で撮影され、前記第１の露光時間と前記第２の露光時間との間
のフレーム間期間が調整可能である、ことが好ましい。
【００２２】
上記画像形成方法において、前記第１フレームに対応する第３フレームを撮影し、前記
第３フレームを複数のピクセルとして検出し、前記第１フレームに含まれる第４ピクセル
が有する第４閾値と前記第３フレームに含まれる第３ピクセルが有する第３閾値とを比較
する第４ステップと、前記第１フレームの複数のピクセルのうち前記第４ピクセルを前記
第３フレームに含まれる前記第３ピクセルに置き換えて前記メモリに記憶する第５ステッ
プと、を含む、ことが好ましい。
【００２３】
本発明に係る集積回路の一態様は、比較ユニットを含み、前記比較ユニットが、第１フ
レームが撮影され、前記第１フレームが複数のピクセルとして記憶され、前記第１フレー
ムに対応する第２フレームが撮影され、前記第２フレームが複数のピクセルとして検出さ
れたときに、前記第１フレームに含まれる第１ピクセルが有する第１閾値と前記第２フレ
ームに含まれる第２ピクセルが有する第２閾値とを比較するものである、ことを特徴とす
る。
【００２４】
上記集積回路において、さらに、前記第１フレームの複数のピクセルを記憶するメモリ
を含む、ことが好ましい。
【００２５】
また、前記第１フレームの複数のピクセルのうち前記第１ピクセルを前記第２フレーム
に含まれる前記第２ピクセルに置き換えて前記メモリに記憶するものである、ことが好ま
しい。
【００２６】
一実施形態において、２つ以上のフレームのピクセルから多重露光画像を作成する方法
が、開示される。各ピクセルは、少なくとも１つのパラメータによって規定されている。
その方法は、第１のフレームのピクセルを、メモリに記憶させるステップを含んでいる。
加えて、第２のフレームのピクセルにおいて、ピクセルを規定している、少なくとも１つ
のパラメータを、第１の閾値と比較して、第１の条件が真であるか否かを決定する。さら
に、第１の条件が真である、第２のフレームのピクセルが、選択される。
【００２７】
また、第２のフレームの選択されたピクセルが、メモリに記憶される。それらの選択さ
れたピクセルは、第１のフレームのピクセルの記憶に続いて記憶される。選択されたピク
セルは、その選択されたピクセルで、第１のフレームの対応するピクセルを置き換えるこ
とによって、記憶される。
【００２８】
一実施形態において、第１の条件は、少なくとも１つのパラメータが、第１の閾値より
も大きいことである。別の一実施形態において、第１の条件は、少なくとも１つのパラメ
ータが、第１の閾値よりも小さいことである。さらに、一実施形態において、第１の閾値
が、輝度パラメータを指定する。別の一実施形態において、第１の閾値が、色差パラメー
タを指定する。さらに別の一実施形態において、第１の閾値が、色パラメータを指定する
。
【００２９】
一実施形態において、第３のフレームのピクセルにおいて、ピクセルを規定している、
少なくとも１つのパラメータを、第１の閾値と比較して、第１の条件が真であるか否かを
決定する。この実施形態において、第１の条件が真である、第３のフレームのピクセルが
、選択される。さらに、第２のフレームの選択されたピクセルの記憶に続いて、第３のフ
レームの選択されたピクセルで、第１のフレームの対応するピクセルを置き換えることに
よって、第３のフレームの選択されたピクセルが、メモリに記憶される。
【００３０】
別の一実施形態において、２つ以上のフレームのピクセルから多重露光画像を作成する
装置が、開示される。各ピクセルが、１つ以上のパラメータによって規定されている。そ
の装置は、第１のフレームのピクセルを記憶するための第１のメモリと、比較ユニットと
を含んでいる。比較ユニットは、第２のフレームのピクセルを比較する。比較ユニットは
、少なくとも１つのパラメータを、第１の閾値と比較して、第１の条件が真であるか否か
を決定する。比較ユニットは、第１の条件が真であるピクセルを選択し、そして、選択さ
れたピクセルを、第１のメモリに記憶させる。選択されたピクセルは、第１のフレームの
記憶に続いて、その選択されたピクセルで、第１のフレームの対応するピクセルを置き換
えることによって、記憶される。一実施形態において、比較ユニットが、第３のフレーム
のピクセルを比較し、そして、第２のフレームの選択されたピクセルの記憶に続いて、第
３のフレームの選択されたピクセルを、メモリに記憶させる。
【００３１】
一実施形態において、第１の条件は、少なくとも１つのパラメータが、第１の閾値より
も大きいことである。別の一実施形態において、第１の条件は、少なくとも１つのパラメ
ータが、第１の閾値よりも小さいことである。さらに、一実施形態において、第１の閾値
が、輝度パラメータを指定する。別の一実施形態において、第１の閾値が、色差パラメー
タを指定する。一実施形態において、装置が、比較ユニットによって用いられたパラメー
タを記憶するための、比較ユニットに結合されている第２のメモリを含んでいる。
【００３２】
さらに別の一実施形態において、２つ以上のフレームのピクセルから多重露光画像を作
成するシステムが、開示される。各ピクセルが、１つ以上のパラメータによって規定され
ている。一実施形態において、そのシステムは、第１のフレームのピクセルを記憶するた
めの第１のメモリと、比較ユニットとを含んでいる。比較ユニットは、第２のフレームの
ピクセルを比較する。比較ユニットは、少なくとも１つのパラメータを、第１の閾値と比
較して、第１の条件が真であるか否かを決定する。さらに、比較ユニットは、第１の条件
が真であるピクセルを選択し、そして、選択されたピクセルを第１のメモリに記憶させる
。その記憶は、第１のフレームの記憶に続いており、そして、選択されたピクセルで、第
１のフレームの対応するピクセルを置き換えることによって達成される。第１の条件は、
少なくとも１つのパラメータのうちの１つが、第１の閾値よりも大きい、または、第１の
閾値よりも小さいことである。
【００３３】
一実施形態において、第１のメモリは、１つを超過しないフレームを記憶するのに十分
なサイズである。別の実施形態において、システムは、画像センサ、ディスプレイ・デバ
イス、または、ホストを含んでいる。さらに、一実施形態において、第１の閾値が、グレ
ースケール・パラメータを指定する。
【００３４】
本発明の一態様である、２つ以上のフレームのピクセルから、多重露光画像を作成する
方法は、各ピクセルが、少なくとも１つのパラメータによって規定されるものであり、第
１のフレームのピクセルを、メモリに記憶させるステップと、第２のフレームのピクセル
において、ピクセルを規定する、少なくとも１つのパラメータを、第１の閾値と比較して
、第１の条件が真であるか否かを決定するステップと、前記第１の条件が真である、前記
第２のフレームのピクセルを選択するステップと、前記第１のフレームの前記ピクセルを
記憶するステップに続いて、選択された前記第２のピクセルを、対応する前記第１のフレ
ームのピクセルと置き換えることによって、前記選択された第２のフレームのピクセルを
前記メモリに記憶させるステップと、を含むことを特徴とする。
【００３５】
また、前記第１の条件は、前記少なくとも１つのパラメータのうちの１つが、前記第１
の閾値よりも大きい、または、前記第１の閾値よりも小さいものであってもよい。
【００３６】
また、前記第１の閾値が、輝度パラメータまたは色差パラメータのうちの１つを指定す
るものであってもよい。
【００３７】
また、前記第１の閾値が、色パラメータを指定するものであってもよい。
【００３８】
また、前記第１のフレームが、第１の露光時間で作成され、そして、前記第２のフレー
ムが、第２の露光時間で作成され、そして、前記第１の露光時間と前記第２の露光時間と
が、各々、調整可能であるものであってもよい。
【００３９】
また、前記第１のフレームが、第１の露光時間で作成され、そして、前記第２のフレー
ムが、第２の露光時間で作成され、そして、前記第１の露光時間と前記第２の露光時間と
の間のフレーム間期間が、調整可能であるものであってもよい。
【００４０】
また、第３のフレームのピクセルにおいて、ピクセルを規定している、少なくとも１つ
のパラメータを、前記第１の閾値と比較して、前記第１の条件が真であるか否かを決定す
るステップと、前記第１の条件が真である、前記第３のフレームのピクセルを選択するス
テップと、前記第２のフレームの前記ピクセルを記憶するステップに続いて、選択された
前記第３のピクセルを、対応する前記第１のフレームのピクセルと置き換えることによっ
て、前記選択された第３のフレームのピクセルを前記メモリに記憶させるステップと、を
さらに含むものであってもよい。
【００４１】
本発明の一態様である、２つ以上のフレームのピクセルから、多重露光画像を作成する
装置は、各ピクセルが、１つ以上のパラメータによって規定されているものであり、第１
のフレームのピクセルを記憶するための第１のメモリと、少なくとも１つのパラメータを
、第１の閾値と比較して、第１の条件が真であるか否かを決定し、前記第１の条件が真で
あるピクセルを選択し、そして、前記第１のフレームの記憶に続いて、前記選択されたピ
クセルで、前記第１のフレームの対応するピクセルを置き換えることによって、前記選択
されたピクセルを、前記第１のメモリに記憶させる比較ユニットであって、第２のフレー
ムのピクセルを比較する比較ユニットと、を含むことを特徴とする。
【００４２】
また、前記第１の条件は、前記少なくとも１つのパラメータのうちの１つが、前記第１
の閾値よりも大きい、または、前記第１の閾値よりも小さいものであってもよい。
【００４３】
また、前記第１の閾値が、輝度パラメータまたは色差パラメータのうちの１つを指定す
るものであってもよい。
【００４４】
また、前記比較ユニットによって用いられたパラメータを記憶するための、前記比較ユ
ニットに結合されている第２のメモリを、さらに含むものであってもよい。
【００４５】
また、前記比較ユニットが、第３のフレームのピクセルを比較し、そして、前記第２の
フレームの選択されたピクセルの記憶に続いて、前記第３のフレームの選択されたピクセ
ルを、前記メモリに記憶させるものであってもよい。
【００４６】
また、前記比較ユニットが、少なくとも１つのパラメータを、第２の閾値と比較して、
第２の条件が真であるか否かを決定し、そして、前記第１の条件と前記第２の条件との両
方が真であるピクセルを選択するものであってもよい。
【００４７】
また、前記比較ユニットが、少なくとも１つのパラメータを、第２の閾値と比較して、
第２の条件が真であるか否かを決定し、そして、前記第１の条件と前記第２の条件のうち
の１つが真であるピクセルを選択するものであってもよい。
【００４８】
本発明の一態様である、２つ以上のフレームのピクセルから、多重露光画像を作成する
システムは、各ピクセルが、１つ以上のパラメータによって規定されているものであり、
第１のフレームのピクセルを記憶するための第１のメモリと、少なくとも１つのパラメー
タを、第１の閾値と比較して、第１の条件が真であるか否かを決定し、前記第１の条件が
真であるピクセルを選択し、そして、前記第１のフレームの記憶に続いて、前記選択され
たピクセルで、前記第１のフレームの対応するピクセルを置き換えることによって、前記
選択されたピクセルを、前記第１のメモリに記憶させる比較ユニットであって、前記比較
ユニットが、第２のフレームのピクセルを比較し、そして、前記第１の条件は、前記少な
くとも１つのパラメータのうちの１つが、前記第１の閾値よりも大きい、または、前記第
１の閾値よりも小さいことである、比較ユニットと、を含むことを特徴とする。
【００４９】
また、前記第１のメモリが、１つを超過しないフレームを記憶するのに十分なサイズで
あってもよい。
【００５０】
また、画像センサをさらに含むものであってもよい。
【００５１】
また、ディスプレイ・デバイスをさらに含むものであてもよい。
【００５２】
また、ホストをさらに含むものであってもよい。
【００５３】
また、前記第１の閾値が、グレースケール・パラメータを指定するものであってもよい
。
【００５４】
本発明の一態様である、２つ以上のフレームのピクセルから、多重露光画像を作成する
集積回路は、各ピクセルが、少なくとも１つのパラメータによって規定されているもので
あり、ピクセルを規定する少なくとも１つのパラメータに関して、第２のフレームのピク
セルを、第１の閾値と比較して、第１の条件が真であるか否かを決定し、前記第１の条件
が真である、前記第２のフレームのピクセルを選択し、そして、前記選択されたピクセル
で、前記第１のフレームの対応するピクセルを置き換える多重露光ユニットを含むことを
特徴とする。
【００５５】
また、前記第１の閾値が、グレースケール・パラメータを指定するものであってもよい
。
【００５６】
また、前記第１の条件は、前記少なくとも１つのパラメータのうちの１つが、前記第１
の閾値よりも大きい、または、前記第１の閾値よりも小さいものであってもよい。
【００５７】
また、前記第１の閾値が、輝度パラメータまたは色差パラメータのうちの１つを指定す
るものであってもよい。
【００５８】
また、前記第１の閾値が、色パラメータを指定するものであってもよい。
【発明を実施するための最良の形態】
【００５９】
以下の図面および記載において、同一または同様の部分、要素、またはステップを参照
するために、同一の参照番号が、それらの図面および記載で用いられる。
【００６０】
本記載において、通常の当業者によく知られている特定の構造、プロセス、操作は、記
述をぼやけさせないために、詳細に記述されない場合がある。他方において、いくつかの
構造、プロセス、操作は、たとえ、それらの詳細が、通常の当業者にはよく知られている
かもしれないとしても、例えば、通常の当業者ではないかもしれない読者の便宜のために
、かなり詳細に記述される場合がある。後者の場合には、通常の当業者であれば、本発明
の実施形態を、記述されている特定の細目のいくつか、または、全てを用いることなく実
行することができることを認識するであろう。
【００６１】
本記載において、「一実施形態」または「実施形態」に、言及がなされる場合がある。
それらの言及は、その実施形態に関連して記述されている特定の特徴、構造、または特性
が、本発明の少なくとも１つの実施形態に含まれていることを意味している。したがって
、下記の種々の場所における語句「一実施形態において」または「実施形態」の出現は、
必ずしも全て、同一の実施形態について言及がなされているわけではない。さらに、特定
の特徴、構造、または特性が、１つ以上の実施形態において組み合わせられている場合も
ある。
【００６２】
本発明の方法および装置を、「携帯デバイス」で用いることができる。携帯デバイスと
は、携帯電話、パーソナル・デジタル・アシスタント（携帯情報端末）、デジタル音楽プ
レーヤー、デジタル・カメラ、または、他の同様のデバイスのような、コンピュータまた
は通信のシステムである。したがって、一例として、本発明の好適な一実施形態が、携帯
デバイスという状態で、以下に記述される。しかしながら、コンピュータおよび通信のシ
ステムおよびデバイスを含むが、それらに限定されない、画像データを処理することがで
きる任意のデバイスに、本発明の実施形態を、一般的に使用することができることを認識
されたい。
【００６３】
図１（ａ）は、開いた配置での、典型的な携帯デバイスの前面の斜視図を例示している
。図１（ｂ）は、閉じた配置での、典型的な携帯デバイスの背面の図を例示している。含
まれる特徴が、以下に記述される。
【００６４】
図２は、携帯デバイス２０のブロック図を示している。携帯デバイス２０は、画像デー
タを捕捉するための画像センサ２２を含んでいる。一般に、画像センサは、各々が入射光
をアナログ電圧に変換する、「フォトサイト」として知られている、小さな光検出素子の
アレイを持っている。電圧は、その後、１つ以上のデジタル値に変換される。典型的な画
像センサには、電荷結合素子（「ＣＣＤ」）センサ、および、相補型金属酸化物半導体（
「ＣＭＯＳ」）センサが含まれる。画像センサは、一般に、個別の専用集積回路（「ＩＣ
」）に内蔵されている。
【００６５】
携帯デバイス２０は、ディスプレイ２４を含んでいる。ディスプレイ２４は、通常、Ｌ
ＣＤ（液晶ディスプレイ）パネルであるが、ＣＲＴ（ブラウン管）ディスプレイ・デバイ
ス、プラズマ・ディスプレイ・デバイス、および、ＯＬＥＤ（有機発光ダイオード）ディ
スプレイ・デバイスを含む、画像データをレンダリング（画像化）することができる、い
かなるデバイスであってもよい。いくつかの実施形態において、ディスプレイ２４は、プ
リンタのような、ハードコピー・レンダリング・デバイスである。
【００６６】
ディスプレイ・デバイスの画面上の画像は、ピクセルと呼ばれる小さな個別画素のアレ
イによって形成される。輝度および色のような各ピクセルの属性は、１つ以上の数字によ
って表現される。画像センサ２２によって生成されたデジタル値は、ピクセルを規定する
パラメータを作成するために用いられる。ピクセルを規定する値を、１つ以上のカラーモ
デル（色の全範囲を記述するための数学的モデル）で指定してもよい。ＲＧＢとして知ら
れているカラーモデルは、画像データをディスプレイ・デバイスに伝達するときに、一般
的に用いられる。ＹＵＶとして知られている別の１つのカラーモデルは、画像データを処
理するために、しばしば、用いられる。ＲＧＢモデルでは、ピクセルは、赤、緑、青のパ
ラメータによって規定される。ＹＵＶモデルでは、ピクセルは、ルーマ（輝度）パラメー
タ（Ｙ）、および、２つの色差パラメータＵ，Ｖによって規定される。画像センサは、一
般に、ＲＧＢ色空間またはＹＵＶ色空間で規定された画像データを出力する。
【００６７】
ディスプレイ画面上に画像を形成するピクセルの二次元マトリクスすなわち二次元アレ
イは、一般に、フレームと呼ばれる。例えば、携帯デバイスにおいて使用されるディスプ
レイ画面は、各行が２４０ピクセルを含んでいる、３２０行を持つ場合があり、それは、
３２０×２４０ピクセル・フレームを表示するために用いられる。説明の便宜のために、
また、当技術分野における用語の用法にしたがって、用語「ピクセル」は、本明細書にお
いて、時には、ディスプレイ・デバイスの画素を、時には、システムまたは装置内に記憶
されて、操作され、そして、そのような画素の属性を規定するデータの２進要素を、また
、時には、その両方を、指示するために用いられ、そして、その用語の、それぞれの場合
にふさわしい意味は、文章の前後関係から明らかである。３２０×２４０ピクセル・フレ
ーム内の７６，８００ピクセルの各々を、マトリクス内の、その行および列の座標位置に
よって、一意的に識別することができる。用語「フレーム」は、ディスプレイ画面と同じ
サイズであるピクセル・アレイのことを指示することが多いが、この用語を、本明細書に
おいては、任意のサイズのフレームを指示するために用いる。言い換えると、用語フレー
ムは、任意の特定のディスプレイ画面よりも大きいサイズであっても、小さいサイズであ
っても、または、同一のサイズであってもよい、ピクセルのマトリクスを指示する。
【００６８】
画像センサ２２は、通常、１フレームのピクセルを、「ラスタ」スキャン順に、すなわ
ち、行に関して、各行内では左から右に、そして、マトリクスの最上端行から最下端行に
進む順に、出力する。しかしながら、本発明の目的のためには、ピクセル・データが、画
像センサ２２によって、ラスタ順に出力されることは必須のことではない。重要なことは
、特定の１フレームにおいて、全てのピクセルが、単一のグループとして出力されるとい
うことである。例えば、センサからの３つのフレームの出力を考える。第１のフレームの
全てのピクセルが、１つのグループとして出力され、第２のフレームの全てのピクセルが
、１つのグループとして出力され、そして、第３のフレームの全てのピクセルが、１つの
グループとして出力されることが重要である。３つのグループの各々内のピクセルは、い
かなる順であってもよい。しかしながら、各フレームのピクセルは、同一の順に出力され
るのが好ましく、また、各フレームのピクセルは、ラスタ順に出力されるのが好ましい。
【００６９】
画像センサ２２が起動しているとき、フレームが、画像センサ２２から出力されて、順
次に、ディスプレイ・コントローラ２６に伝達される。フレームがディスプレイ・コント
ローラ２６に伝達される順序は、通常、フレームが捕捉された時間的な順序に一致する。
それらのフレーム系列を用いて、ディスプレイ２４上にビデオ画像を作成することができ
る。
【００７０】
画像センサ２２が起動しているとき、フレームが、「フレーム速度」で出力される。例
えば、画像センサ２２は、１秒当たり２４フレーム（「ｆｐｓ」）を出力してもよい。各
フレームで、画像センサのフォトサイトは、特定の期間（「露光時間」）、入射光に露光
される。本記載においては、説明を単純化するために、特に、別段の指示がない限り、露
光時間は、フレーム系列内の各フレームに対して相等しい。さらに、各フレームは、特定
の期間（「フレーム間期間」）だけ、一定のテンポで、直前のフレームと分離される。再
び、本記載において、説明を単純化するために、特に、別段の指示がない限り、フレーム
間期間の長さは、フレーム系列内の各フレームに対して相等しい。さらに例示するために
、２４ｆｐｓを出力するセンサの例を考える。各フレームは、０．０１６７（１／６０）
秒の露光時間を持ってもよく、そうすると、その後の各フレームは、直前のフレームの捕
捉に続く、０．０２５０秒の遅延の後に捕捉される。別の一例として、各フレームは、０
．００８（１／１２５）秒の露光時間を持ってもよく、そうすると、その後の各フレーム
は、直前のフレームの捕捉に続く、０．０３３７秒の遅延の後に捕捉される。
【００７１】
携帯デバイス２０は、画像センサ２２とディスプレイ２４とに結合されたディスプレイ
・コントローラ２６を含んでいる。ディスプレイ・コントローラ２６は、自身が受け取っ
た画像データを処理して、画像データを、ディスプレイ２４に伝達する。ディスプレイ・
コントローラ２６は、ディスプレイによって必要とされるタイミング・プロトコルにした
がって、ディスプレイ２４を駆動し、そして、さらに、必要な制御信号を、ディスプレイ
２４に供給する。ディスプレイ・コントローラ２６について、以下に、さらに記述する。
【００７２】
ディスプレイ・コントローラ２６は、また、ホスト２８に結合されている。ホスト２８
は、中央演算処理装置、デジタル信号プロセッサ、または、他のプロセッサであってもよ
い。ホスト２８は、種々の入力／出力デバイスに結合されている。図示されている実施形
態においては、ホスト２８は、入力デバイス３０、マイクロフォン３２、およびスピーカ
３４に結合されている。入力デバイス３０は、入力キー、テンキー・パッド、キーボード
、マウスまたはトラックボールのようなポインティング・デバイス、または、そのような
機構の組み合わせを含んでいてもよい。さらに、ホスト２８は、アンテナ３８に結合され
ている送受信器３６、および、メモリ４０に結合されている。メモリ４０は、ＤＲＡＭ（
ダイナミック・ランダム・アクセス・メモリ）、ＳＲＡＭ（スタティック・ランダム・ア
クセス・メモリ）、フラッシュ・メモリ、ハードディスク、光ディスク、フロッピィ・デ
ィスク、または、任意の他の種類のメモリであってもよい。メモリ４０は、ホスト２８の
専用であってもよいし、または、携帯デバイス２０の他の構成成分によって使用可能であ
ってもよい。一般に、ホスト２８は、携帯デバイス２０の種々の構成成分を制御し、そし
て、他のコンピュータおよび通信のシステムと通信するように、または、携帯デバイス２
０を、それらと通信させるように、適合化されているのが好ましい。携帯デバイス２０は
、任意選択に、バッテリ４４によって電力を供給される。
【００７３】
図３を参照すると、ディスプレイ・コントローラ２６の典型的な一実施形態のブロック
図が、示されている。ディスプレイ・コントローラ２６は、ディスプレイ・コントローラ
２６を一構成成分としているコンピュータまたは通信のシステムまたはデバイスの画像セ
ンサ２２、ホスト２８、ディスプレイ２４、メモリ４０、および、他の構成成分から離れ
て配置されている個別の集積回路であるのが好ましい。しかしながら、ディスプレイ・コ
ントローラ２６が、個別の集積回路として実装されていることは、決定的に重要な意味を
持つことではない。代替実施形態において、ディスプレイ・コントローラ２６を、画像セ
ンサ、プロセッサ、メモリ、またはディスプレイ・デバイスの内部のような、別の１つの
デバイスまたは構成成分の内部に設けてもよい。
【００７４】
ディスプレイ・コントローラ２６は、画像センサ・インターフェイス４６、ホスト・イ
ンターフェイス４８、および、ディスプレイ・インターフェイス５０を含んでいる。画像
センサ・インターフェイス４６は、バス５２を介して、画像センサ２２に結合されている
。ホスト・インターフェイス４８は、バス５４を介して、ホスト２８に結合されている。
そして、ディスプレイ・インターフェイス５０は、バス５６を介して、ディスプレイ２４
に結合されている。
【００７５】
画像センサ・インターフェイス４６は、ディスプレイ・コントローラ２６が、バス５２
によって必要とされるプロトコルを用いて、バス５２を通じて、情報伝達を行うことを可
能にする。例えば、ディスプレイ・コントローラ２６は、画像センサ・インターフェイス
４６およびバス５２を介して、画像センサ２２をプログラムすることができる。バス５２
は、シリアル・バスであっても、パラレル・バスであってもよく、また、２つ以上のバス
で構成されていてもよい。さらに、画像センサ・インターフェイス４６は、画像センサ２
２から画像データを受け取る。
【００７６】
ホスト・インターフェイス４８は、ディスプレイ・コントローラ２６が、バス５４によ
って必要とされるプロトコルを用いて、バス５４を通じて、ホスト２８と情報伝達するこ
とを可能にする。例えば、ホストは、ホスト・インターフェイス４８およびバス５４を介
して、ディスプレイ・コントローラ２６に命令を出すか、または、画像データを送ること
ができる。さらに、ディスプレイ・コントローラ２６は、ホスト２８に、画像データまた
は命令応答を送ることができる。バス５４は、シリアル・バスであっても、パラレル・バ
スであってもよく、また、２つ以上のバスで構成されていてもよい。
【００７７】
ディスプレイ・インターフェイス５０は、メモリ５８から、表示に適した画像データを
受け取り、そして、ディスプレイ２４によって必要とされるプロトコルおよびタイミング
要求にしたがって、バス５６を介して、ディスプレイ２４に、画像データおよび表示命令
を送る。バス５６は、シリアル・バスであっても、パラレル・バスであってもよい。
【００７８】
ディスプレイ・コントローラ２６は、メモリ５８およびメモリ・コントローラ６０を含
んでいる。メモリ５８は、ディスプレイ・コントローラ２６に内蔵されているが、代替実
施形態においては、個別の集積回路または個別のデバイスの状態で備えられてもよい。メ
モリ５８は、画像データを記憶する目的のための専用のメモリであってもよく、または、
画像データと他の種類のデータとの両方を記憶するために用いられるメモリであってもよ
い。一実施形態において、メモリ５８は、１フレームの画像データだけを記憶するのに十
分なサイズである。別の一実施形態において、メモリ５８は、他の非画像データといっし
ょに、ちょうど１フレームの画像データを記憶するのに十分なサイズである。この実施形
態において、メモリは、２つ以上のフレームを記憶するのに十分なほど大きくはない。別
の実施形態において、メモリ５８は、すぐ上に記述した２つの実施形態よりも大きくても
、小さくてもよい。メモリ５８は、ＳＲＡＭタイプであるが、メモリ５８は、ＤＲＡＭ、
フラッシュ・メモリ、ハードディスク、光ディスク、フロッピィ・ディスク、または、任
意の他のタイプのメモリであってもよい。メモリ・コントローラ６０は、メモリ５８への
アクセスを制御する。メモリ・コントローラ６０は、読み出しおよび書き込みのアクセス
命令、行および列のアドレス、および、データを受け取る。メモリ・コントローラ６０は
、自身が受け取った命令に対する応答を出し、記憶するためのデータを受理し、また、読
み出し要求に応答してデータを出力する。メモリ・コントローラ６０は、複数のメモリ要
求間の調整を行い、また、メモリ５８の管理に関連する他の機能を遂行する。
【００７９】
ディスプレイ・コントローラ２６は、画像処理ユニット６２ａ，６２ｂを含んでいる。
画像処理ユニット６２ａ，６２ｂは、任意選択に、ある色空間から別の色空間へのピクセ
ルの変換、または、例えば、ＹＵＶ４：４：４データからＹＵＶ４：２：０データを生み
出すための、ＹＵＶデータのサブサンプリング、または、ＪＰＥＧ（Joint Photographic
Experts Group：静止画像の圧縮・伸長の国際標準規格）または別の画像圧縮技術を用い
た画像データの圧縮のような、画像データに対する１つ以上の操作を遂行する。さらに、
画像処理ユニット６２ａ，６２ｂは、画像データのスケーリングを行って、より大きい画
像、または、より小さい画像を作成してもよい。さらに、画像処理ユニット６２ａ，６２
ｂは、画像の１つ以上の部分をクロッピング（トリミング）してもよい。加えて、画像処
理ユニット６２ａ，６２ｂは、画像に境界を加えたり、または、１つの画像に別の画像を
かぶせたりしてもよい。画像処理ユニット６２ａ，６２ｂは、自身が処理した画像データ
を、他の画像データと組み合わせてもよい。上述の操作は、可能な画像処理操作を網羅的
に記述するものではなくて、例示的に記述するものであることを意図したものであるから
、画像処理ユニット６２ａ，６２ｂは、上述の操作以外の操作を遂行してもよい。さらに
、画像データがメモリ５８に記憶される前、または、画像データがメモリ５８から引き出
された後のいずれかに、特定の画像処理操作を遂行してもよい。例えば、記憶前に、クロ
ッピング、ダウンスケーリング、および圧縮のような、いくつかの操作、および、引き出
し後に、アップスケーリング、解凍、および色空間変換のような、いくつかの操作を遂行
することが望ましいこともある。前者の場合には、画像処理は、画像処理ユニット６２ａ
で遂行され、一方、後者の場合には、画像処理は、画像処理ユニット６２ｂで遂行される
。
【００８０】
画像処理ユニット６２ａは、画像処理操作の遂行に加えて、各ピクセルの一意的な座標
に基づいて、ピクセルに対するメモリ・アドレスを指定してもよい。画像処理ユニット６
２ａは、図３に示されているように、データ・バス６４上にピクセル・データを、アドレ
ス・バス６８上にアドレス・データを、そして、制御・バス７０上に１つ以上の制御信号
を供給する。制御信号は、ピクセル・データおよびアドレスが、それぞれのバス上でのサ
ンプリングに利用可能なときに、信号で知らせるために用いられる。
【００８１】
ディスプレイ・コントローラ２６は、さらに、インテリジェント多重露光ユニット７８
、および、レジスタ８０を含んでいる。図示されている例においては、インテリジェント
多重露光ユニット７８は、画像処理ユニット６２ａの出力に結合されており、そこから、
データ・バス６４、アドレス・バス６８、制御・バス７０を介して、それぞれ、画像デー
タ、アドレス信号、および制御信号を受け取る。さらに、インテリジェント多重露光ユニ
ット７８は、レジスタ８０に結合されており、そこから、以下に記述される種々のプロセ
ス・パラメータを得る。インテリジェント多重露光ユニット７８とレジスタ８０とのどち
らも、ホスト・インターフェイス４８に結合されている。ホスト２８は、ホスト・インタ
ーフェイス４８を介して、インテリジェント多重露光ユニット７８に命令を出し、また、
レジスタ８０に、プロセス・パラメータを記憶させる。さらに、インテリジェント多重露
光ユニット７８は、それぞれ、データ・バス７２、制御・バス７４、および、アドレス・
バス７６を介して、メモリ・コントローラ６０に結合されている。
【００８２】
インテリジェント多重露光ユニット７８は、起動している場合もあれば、起動していな
い場合もある。インテリジェント多重露光ユニット７８のデフォルト（規定値に設定され
ている）状態は、起動していない状態である。インテリジェント多重露光ユニット７８が
起動していない、携帯デバイス２０の一操作において、画像が、画像センサ２２によって
捕捉され、そして、画像データが、画像センサ・インターフェイス４６を介して、ディス
プレイ・コントローラ２６に伝達される。画像処理ユニット６２ａが、画像データを受け
取り、そして、一部のピクセルを削除し、他のピクセルを選択してメモリ５８に記憶させ
ることによって、画像のダウンスケーリングを行うというような、スケーリング・アルゴ
リズムを適用する。画像処理ユニット６２ａは、インテリジェント多重露光ユニット７８
に、画像データ、アドレス信号、および、制御信号を伝達する。起動していなくても、イ
ンテリジェント多重露光ユニット７８は、自身が受け取った画像データを、画像処理ユニ
ット６２ａから、メモリ・コントローラ６０に伝達する。１フレームの画像データが、捕
捉され、処理され、そして、記憶されてしまうと、メモリ５８は、１フレームの画像デー
タを収容することになる。画像処理ユニット６２ｂは、メモリ５８から、そのフレームの
画像データを引き出して、さらに、例えば、画像データに色変換アルゴリズムを適用する
などによって、画像データを処理し、そして、処理された画像データを、ディスプレイ２
４に伝達するために、ディスプレイ・インターフェイス５０に供給する。それに代えて、
画像処理ユニット６２ａは、処理された画像データを、メモリ４０に記憶させるために、
または、別のコンピュータまたは通信のシステムに伝達するために、バス７７を介してホ
スト２８に供給する。
【００８３】
他方において、インテリジェント多重露光ユニット７８は、起動している場合もある。
別の一操作の携帯デバイス２０において、ユーザが、本発明にしたがって、２つ以上のフ
レームの画像データから多重露光画像を作成することを望み、そして、そのユーザが、イ
ンテリジェント多重露光ユニット７８を起動させるための、適切な命令（単数または複数
の）を供給する。
【００８４】
その、インテリジェント多重露光ユニット７８を起動させるための命令（単数または複
数の）は、例えば、入力デバイス３０、および、適切なユーザ・インターフェイスを用い
て、ホストに供給される。ユーザが、画像作成に用いるための、１つ以上のプロセス・パ
ラメータを指定してもよいし、または、プロセス・パラメータが、あらかじめ定められて
いてもよい。ユーザ・インターフェイス、および、命令を入力する仕方に関する詳細は、
本発明にとって、重要なことではない。通常の当業者であれば誰でも、そのような命令を
入力することができる、いくつかのやり方を認識するであろう。
【００８５】
ユーザ命令およびプロセス・パラメータは、ホスト２８によって受け取られる。そのよ
うな命令を受け取って、ホスト２８は、ホスト・インターフェイス４８を介して、インテ
リジェント多重露光ユニット７８を起動させ、そして、レジスタ８０に、一つ以上のプロ
セス・パラメータを記憶させてもよい。起動によって、多重露光画像が、２つ以上のフレ
ームのピクセルから作成される。第１の画像が、画像センサ２２によって捕捉され、そし
て、第１のフレームの画像データが、ディスプレイ・コントローラ２６に伝達される。第
１のフレームが、処理され、そして、第１のフレームのピクセルに対するパラメータ値が
、メモリ５８に記憶される。
【００８６】
各ピクセルは、少なくとも１つのパラメータ値によって規定される。例えば、各ピクセ
ルを、グレースケール値によって規定してもよい。別の一例として、ＹＵＶデータまたは
ＲＧＢデータの場合には、各ピクセルは、３つのパラメータによって規定される。第１の
フレームが、メモリ５８から引き出されて、さらに処理され、そして、ディスプレイ２４
に伝達されて、そこでレンダリングされる。
【００８７】
１フレーム間期間の後、第２の画像が、画像センサ・インターフェイス４６によって捕
捉され、そして、第２のフレームの画像データが、ディスプレイ・コントローラ２６に伝
達される。第１のフレームのピクセルと第２のフレームのピクセルとは、好適な一実施形
態において、同一の順で伝達される。例えば、第１のフレームと第２のフレームとは、ラ
スタ順に伝達される。
【００８８】
第２のフレームの各ピクセルが、インテリジェント多重露光ユニット７８に提示される
。インテリジェント多重露光ユニット７８は、第２のフレームのピクセルに対する少なく
とも１つのパラメータ値を、第１の閾値と比較して、第１の条件が真であるか否かを決定
する。別の一実施形態において、その後のフレームの各ピクセルを、さらに、第２の閾値
と比較して、第２の条件が真であるか否かを決定してもよい。さらに別の実施形態におい
て、その後のフレームの各ピクセルを、さらに、複数の閾値と比較して、それに対応する
数の条件が真であるか否かを決定してもよい。第１の閾値、第２の閾値、および他の閾値
、および、第１の第２の条件、および他の条件は、上で言及したプロセス・パラメータの
実例である。インテリジェント多重露光ユニット７８は、第１の閾値、第１の条件、およ
び、いかなる他の閾値および条件も、レジスタ８０から得る。
【００８９】
上述のように、ピクセルを、単一のグレースケール・パラメータによって、または、Ｒ
、Ｇ、ＢまたはＹ、Ｕ、Ｖのような３つのパラメータによって、規定することができる。
種々の実施形態において、インテリジェント多重露光ユニット７８が、１つ以上の閾値と
比較するのは、第２のフレームのピクセルに対する、これらの種類のパラメータである。
第１の閾値、および、その他の閾値は、特定のパラメータと同一の記数法で指定される。
【００９０】
一例として、ピクセル・パラメータ値は、８ビットのグレースケール値、すなわち、０
と２５５とを含む、０と２５５の間の値であってもよく、そして、第１の閾値は、グレー
スケール値２００であってもよい。インテリジェント多重露光ユニット７８は、第２のフ
レームのピクセルに対するパラメータ値を、第１の閾値と比較して、第１の条件が真であ
るか否かを決定する。第１の条件は、この例においては、パラメータ値が、第１の閾値よ
りも大きいことである。別の一実施形態において、第１の条件は、パラメータ値が、第１
の閾値よりも小さいことである。
【００９１】
インテリジェント多重露光ユニット７８は、第１の条件が真である、第２のフレームの
ピクセルを選択する。インテリジェント多重露光ユニット７８は、第２のフレームの各選
択されたピクセルに対するパラメータ値を、メモリ５８に記憶させる。前段の例を継続す
ると、特定のピクセルが、２０１〜２５５、例えば２１４、のグレースケール値を持って
いれば、第１の条件は、真である。したがって、そのピクセルは、選択されて、メモリ５
８に記憶される。
【００９２】
一実施形態において、インテリジェント多重露光ユニット７８は、第２のフレームのピ
クセルに対する、少なくとも２つのパラメータ値を、それぞれ、第１および第２の閾値と
比較して、第１および第２の条件が、真であるか否かを決定する。この代替例においては
、第１の条件が真であるか、または、第２の条件が真であるか、または、第１の条件と第
２の条件との両方が真であるときに、そのピクセルを選択してもよい。例えば、第１のパ
ラメータ値がＲであって、第２のパラメータ値がＧであり、第１の閾値が５０であって、
第２の閾値が７５であり、そして、第１の条件は、パラメータ値が、第１の閾値よりも大
きいということであって、第２の条件は、パラメータ値が、第２の閾値よりも大きいとい
うことであってもよい。さらに、ピクセルは、両方の条件が真であるときのみ、選択され
る。これらの判定基準の下では、第２のフレームのピクセルは、そのＲ値が５０よりも大
きく、かつ、そのＧ値が７５よりも大きい場合に、選択される。
【００９３】
別の実施形態において、所望のままに、多くの条件および閾値を使用してもよい。
【００９４】
第２のフレームの選択されたピクセルは、第１のフレームのピクセルの記憶に続いて記
憶される。さらに、第２のフレームの選択されたピクセルは、破壊書き込み操作で記憶さ
れる。破壊書き込み操作においては、第２のフレームの特定の選択されたピクセルのパラ
メータ値が、その特定の選択されたピクセルと同じ座標を持つ、第１のフレームのピクセ
ルのパラメータ値に取って代わる。２１４の値を持つグレースケール・ピクセルの上述の
例を継続すると、第１のフレームの対応するピクセルのグレースケール値が４０であれば
、この４０の値が、第２のフレームの選択されたピクセルの値で、すなわち、２１４で、
重ね書きされる。
【００９５】
インテリジェント多重露光ユニット７８は、上述の機能および他の機能を遂行するよう
に選択され、設計された、複数の個別論理ゲートおよび個別デバイスから成っていてもよ
い。それに代えて、インテリジェント多重露光ユニット７８は、Ｖｅｒｉｌｏｇ、または
、ＶＨＤＬ（Very high-speed integrated circuit Hardware Description Language：超
高速集積回路設計用ハードウェア記述言語）のような、ハードウェア記述言語を用いて作
り出されるゲートおよびデバイスから成っていてもよい。さらに、レジスタ８０は、１つ
または１つを超過する記憶素子を有していてもよい。レジスタは、フリップフロップのよ
うな個別素子であっても、または、ディスプレイ・コントローラの集積回路上に一体化さ
れた複数のフリップフロップであってもよく、または、それは、メモリ５８のようなメモ
リ内の１つ以上の記憶位置を有していてもよい。
【００９６】
インテリジェント多重露光ユニット７８は、図示されているように、画像処理ユニット
６２ａに結合されていてもよいが、このことは、決定的に重要な意味を持つことではない
。別の実施形態において、インテリジェント多重露光ユニット７８は、画像センサ・イン
ターフェイス４６に直接に結合されていてもよいし、または、任意の画像データ源に直接
に結合されていてもよい。
【００９７】
インテリジェント多重露光ユニット７８についての上の記述は、ユニットが、画像セン
サ２２によって生成された画像データに対して作動すると仮定している。別の実施形態に
おいて、インテリジェント多重露光ユニット７８は、任意の画像データ源によって生成さ
れた、または、供給された画像データに対して作動してもよい。例えば、インテリジェン
ト多重露光ユニット７８は、ホスト・インターフェイス４８およびバス７５を介して、ホ
スト２８によって供給された画像データに対して作動してもよい。
【００９８】
本発明の実施形態を用いて作成されるであろう、予測的な画像が、図５、図６、および
図７に例示されている。
【００９９】
図５は、複数のフレームの画像データから作成された第１の画像１００を例示している
。画像の被写体は、一対の、自動車のヘッドライトである。それらのフレームは、たそが
れと夕やみとの間の戸外のような、低い周辺光の状態の下で捕捉されている。したがって
、背景は暗い。多重露光画像は、非常に多数の、順次に捕捉された画像から作成されてい
る。各露光は、比較的短いフレーム間期間だけ分離されている。図５は、ヘッドライト対
を、自動車の走路をたどる光の筋として描くように意図されている。
【０１００】
図６は、複数のフレームの画像データから作成された第２の画像としての多重露光画像
１０２を例示している。図６は、真っ黒なスクリーンのような光吸収性の背景の前で落下
しつつある、光反射性のボールを描いている。各露光が照射され、ボールを、背景のスク
リーンよりも相当に明るく見えるようにしている。さらに、この画像が形成された４つの
フレームの各々は、比較的長いフレーム間期間だけ分離されている。
【０１０１】
図７は、図６の第２の画像としての多重露光画像１０２が作成された複数のフレームを
例示している。複数のフレームが、逐次、時刻Ｔ１，Ｔ２，Ｔ３，Ｔ４において捕捉され
る。そのような時刻の各々は、１フレーム間期間だけ離れている。多重露光画像１０２は
、まず、時刻Ｔ１において捕捉されたフレームを記憶することによって、形成される。続
いて、時刻Ｔ２において捕捉されたフレームのピクセルの各々が、第１の閾値と比較され
る。フレームは、グレースケール画像であり、そして、第１の閾値は、光反射性のボール
のピクセルが、第１の閾値を超過するが、背景のピクセルが、第１の閾値よりも小さくな
るように、指定される。第１の条件は、少なくとも１つのパラメータが、第１の閾値より
も大きいことである。したがって、時刻Ｔ２において捕捉されたフレームのピクセルは、
それらが第１の閾値を超過したときのみ、記憶するために選択される、すなわち、光反射
性のボールのピクセルだけが、選択される。同様に、時刻Ｔ３，Ｔ４において捕捉された
フレームの中で、光反射性のボールのピクセルだけが、選択されて、記憶される。
【０１０２】
比較の目的で、別の１つの予測的な画像が、図８に示されている。対照的に、図８の多
重露光画像１０４は、追加書き込み操作で、時刻Ｔ１，Ｔ２，Ｔ３，Ｔ４において捕捉さ
れたフレームを順次に記憶することによって作成されている。見られるように、背景は、
多重露光画像１０２の場合よりも暗く、これは、上述の露光過多問題を例示している。さ
らに、多重露光画像１０４に関する、別の１つの問題は、光反射性のボールが、背景画像
を足し合わされる結果、暗くなるということである。
【０１０３】
レジスタ８０は、種々のプロセス・パラメータを記憶する。上述のように、インテリジ
ェント多重露光ユニット７８は、第２のフレームのピクセルに対する、少なくとも１つの
パラメータ値を、第１の閾値と比較して、第１の条件が真であるか否かを決定する。一つ
以上の実施形態において、プロセス・パラメータを用いて、第１の閾値が指定される。さ
らに、一つ以上の実施形態において、プロセス・パラメータを用いて、ピクセルを規定す
るための、１つ以上の種類のパラメータ値が指定される。例えば、プロセス・パラメータ
を用いて、グレースケール、赤、緑、青、ルーマ、または、色差、の値が、第１の閾値と
比較されることを指定してもよい。
【０１０４】
プロセス・パラメータを用いて、２つ以上の閾値を指定してもよい。さらに、プロセス
・パラメータを用いて、ピクセルを規定するための２つ以上の種類のパラメータ値、例え
ば、赤および緑、を指定してもよい。インテリジェント多重露光ユニット７８は、ＲＧＢ
ピクセルの赤パラメータ値を第１の閾値と比較し、そして、緑値を第２の閾値と比較する
。インテリジェント多重露光ユニット７８は、第１の条件が、第１の閾値に関して真であ
るか否かを決定し、また、第２の条件が、第２の閾値に関して真であるか否かを決定する
。一実施形態において、インテリジェント多重露光ユニット７８は、第１の条件と第２の
条件との両方が真である、第２のフレームのピクセルを選択する。別の一実施形態におい
て、インテリジェント多重露光ユニット７８は、第１の条件と第２の条件とのいずれかが
、または、いずれもが真である、第２のフレームのピクセルを選択する。
【０１０５】
一つ以上の実施形態において、プロセス・パラメータを用いて、フレームの各々の露光
時間を指定してもよい。例えば、プロセス・パラメータを用いて、第２のフレームの露光
時間を、第１のフレームの露光時間と等しくなるように設定することができる。それに代
えて、第２のフレームの露光時間を、第１のフレームの露光時間と異なるように設定する
ことができる。
【０１０６】
一つ以上の実施形態において、プロセス・パラメータを用いて、フレーム間期間を指定
してもよい。一実施形態において、第２のフレームの露光が、実質的に、第１のフレーム
の露光の直後に始まる。別の一実施形態において、第２のフレームの露光が、第１のフレ
ームの露光に続く特定の期間の後に始まる。３つ以上のフレームを用いて、多重露光画像
を作成する、別の実施形態において、一意的なフレーム間期間を、連続するフレームの各
２つに対して指定してもよい。
【０１０７】
さらに、プロセス・パラメータを用いて、多重露光画像の作成において用いられるフレ
ームの数を指定してもよい。種々の実施形態を、いかなる数のフレームでも指定すること
ができるように構成することができる。例えば、一実施形態において、１つの多重露光画
像を、６４フレームまで用いて作成することができる。別の実施形態において、１つの多
重露光画像を、２５６フレーム、５１２フレーム、または、１，０２４フレームまで用い
て作成することができる。
【０１０８】
本発明の１つ以上を組み込んでいる典型的な携帯デバイス２０、および、他の実施形態
は、既知のデバイスに優る利点を備えている。特に、それらは、背景画像が過度の光量に
露光されない、多重露光画像の作成を可能にする。加えて、それらは、実質的に、最後の
フレームの捕捉の直後に見ることができる、多重露光画像の作成を可能にする。さらに、
それらは、最少量のメモリしか用いない仕方で、多重露光画像を作成することを可能にす
る。画像が形成される、複数のフレームの各々を、メモリに記憶する必要はない。これは
、所要電力を軽減し、そのことは、携帯デバイスにおいて、特に重要である。
【０１０９】
さらに、本発明の１つ以上を組み込んでいる典型的な携帯デバイス２０、および、他の
実施形態は、第１の画像が、所望の背景シーンで撮られ、そして、第２の画像が、被写体
を、そのシーン内に「貼り付ける」ように、撮られる、多重露光画像の作成を可能にする
。この効果は、黒い背景シーンの前で、被写体の第２の画像を撮ることによって達成され
る。例示のために、第１の画像が、ピサの斜塔のシーンで撮られるものとする。第２の画
像は、特定の単一体が、黒いスクリーンの前に立って、撮られるものとする。さらに、画
像が、グレースケール画像である場合には、第１の閾値が、黒いスクリーンを超過する値
に設定されるものとする。例えば、黒いスクリーンの値が、２５であれば、第１の閾値を
、５０に設定してもよい。第１の条件が、「よりも大きい」である、とする。そうすると
、インテリジェント多重露光ユニット７８は、ピクセル値が５０よりも大きい、第２のフ
レームのピクセルを選択し、それによって、前記の背景シーン上の単一体の画像が、記憶
される。背景シーン上に被写体を「貼り付ける」、この効果を、種々の代替背景色を用い
て達成できることが認識されるであろう。例えば、青、赤、または、緑。
【０１１０】
図４は、一典型的方法のフロー図である。この方法は、１つ以上のプロセス・パラメー
タを指定することによって、開始することができる（ステップＳ８２）。それに代えて、
プロセス・パラメータが、あらかじめ定められていてもよい。第１のフレームが、捕捉さ
れ（ステップＳ８４）、そして、第１のフレームのピクセルが、メモリに記憶される（ス
テップＳ８６）。詳細には、ピクセルを規定しているパラメータ値が、メモリに記憶され
る。
【０１１１】
第１のフレームの捕捉に続いて、１フレーム間期間が経過してもよい（ステップＳ８８
）。フレーム間期間は、プロセス・パラメータに基づいて指定されてもよいし、または、
デフォルト期間であってもよい。その後、その後のフレームが、捕捉される（ステップＳ
９０）。第１のフレームと第２のフレームとのピクセルは、好適な一実施形態において、
同じ順で並べられる。
【０１１２】
第１の条件が真であるか否かを決定するために、前出の、その後のフレームの各ピクセ
ルが、第１の閾値と比較される（ステップＳ９２ａ）。この比較は、前出の、その後のフ
レームのピクセルを規定するために用いられているパラメータ値の少なくとも１つを、第
１の閾値と比較する。第１の条件は、一実施形態において、パラメータ値が、第１の閾値
よりも大きいことである。別の一実施形態において、第１の条件は、パラメータ値が、第
１の閾値よりも小さいことである。第１の条件が真であるか、偽であるかの決定が、なさ
れる（ステップＳ９２ｂ）。第１の条件が、真であれば、そのピクセルが、選択される（
ステップＳ９２ｃ）。
【０１１３】
図４に示されていないが、第２の条件が、真であるか否かを決定するために、前出の、
その後のフレームの各ピクセルを、さらに、第２の閾値と比較してもよい。第２の条件は
、パラメータ値が、第２の閾値よりも大きい、または、小さいということであってもよい
。さらに、第２の条件が真であるか、偽であるかの決定が、なされる。この代替例におい
て、第１の条件と第２の条件とのいずれかが、真である場合に、または、第１の条件と第
２の条件との両方が、真である場合に、そのピクセルを選択してもよい。
【０１１４】
別の一実施形態において、前出の、その後のフレームの各ピクセルを、さらに、第２の
条件が真であるか否かを決定するために、第２の閾値と比較し、そして、第３の条件が真
であるか否かを決定するために、第３の閾値と比較してもよい。第２および第３の条件が
真であるか、偽であるかの決定がなされた後、ピクセルが、選択される。この代替例にお
いて、第１、第２、および、第３の条件の全てが、真である場合に、または、３つの条件
のうちの１つ以上が、真である場合に、そのピクセルを選択してもよい。いくつでも、所
望するだけ多くの条件を使用してよい。さらに、いくつでも、所望するだけ多くの、ピク
セルを規定するために用いられているパラメータを、特定の閾値と比較してもよい。一例
として、第１の条件は、ピクセルのルーマ値が、１８０よりも大きいということであって
もよく、第２の条件は、ピクセルのＵ値が、４０よりも小さいということであってもよく
、第３の条件は、ピクセルのＶ値が、１９７よりも大きいということであってもよく、そ
して、第４の条件は、ピクセルのＶ値が、２３３よりも小さいということであってもよい
。この例において、４つの条件の全てが真である、ピクセルだけが、選択される。この例
は、少なくとも１つの特定のルーマ値を持ち、同時に、特定の色範囲内にあるピクセルの
選択をもたらす。
【０１１５】
第２のフレームの選択されたピクセルが、メモリに記憶される（ステップＳ９４）。第
２のフレームの選択されたピクセルは、破壊書き込み操作で記憶される。この操作におい
ては、第２のフレームの選択されたピクセルと同一の座標を持つ、第１のフレームのピク
セルが、重ね書きされる。
【０１１６】
第１の条件が偽であれば、ステップＳ９２ｂに続いて、または、第１の条件が真であれ
ば、ステップＳ９４に続いて、その直前に第１の閾値と比較されたピクセルが、そのフレ
ームの最後のピクセルであるか否かの決定が、なされる（ステップＳ９６）。そのピクセ
ルが、最後のピクセルでなければ、本方法は、ステップＳ９２ａに戻って、そのフレーム
の次のピクセルが、第１の閾値と比較される。そうでない場合には、本方法は、ステップ
Ｓ９８に進む。
【０１１７】
さらなるフレームのピクセルが、第１の閾値と比較されるか否かの決定がなされる（ス
テップＳ９８）。多重露光画像の作成に用いられる、その後のフレームの数は、プロセス
・パラメータに基づいて指定されていてもよいし、または、デフォルト・フレーム数が存
在していてもよい。所望のフレーム数が、処理されてしまうと、本方法は、終了し、そし
て、メモリに記憶されていたフレームを、表示のためにレンダリングしても、記憶しても
、または、所望の多重露光画像として伝達してもよい。そうでなければ、本方法は、ステ
ップＳ８８に戻って、１フレーム間期間待機し、次に、ステップＳ９０に進んで、別の１
つの、その後のフレームを捕捉する。
【０１１８】
本発明は、システムまたはデバイス内に一体化されている画像センサから受け取られた
画像データとの関連において記述されている。一体化されていようと、隔たっていようと
、いかなる画像データ源からでも、受け取られた画像データを用いて、本発明を実施でき
ることを認識されたい。例えば、画像データは、本発明の１つ以上を組み込んでいるシス
テムまたはデバイスから隔たっているデバイスから、ネットワークを通じて、伝達される
のであってもよい。
【０１１９】
本発明の一部を形成している、本明細書に記述されている操作のいずれもが、有用な機
械操作である。本発明は、また、それらの操作を遂行するためのデバイスまたは装置に関
するものでもある。それらのデバイスは、前述されている携帯デバイスのように、必要と
される目的のために、特に構築されるものであってもよく、または、それらのデバイスは
、コンピュータに記憶されているコンピュータ・プログラムによって選択的に起動される
、または、選択的に設定される、汎用のコンピュータであってもよい。特に、種々の汎用
のマシンを、本発明にしたがって書き込まれたコンピュータ・プログラムとともに用いて
もよく、または、より特殊化された装置を構築して、必要とされる操作を遂行するほうが
、より便利であるかもしれない。
【０１２０】
本発明を、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードと
して具現化してもよい。コンピュータ読み取り可能な媒体は、データを記憶することがで
き、そして、そのデータを、その後、コンピュータ・システムによって読み取ることがで
きる、いかなるデータ記憶デバイスであってもよい。コンピュータ読み取り可能な媒体の
例には、フラッシュ・メモリ、ハードディスク・ドライブ、ネットワーク接続ストレージ
、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、ＣＤ（コン
パクト・ディスク）、磁気テープ、および、他の光学的および非光学的なデータ記憶デバ
イスが含まれる。コンピュータ読み取り可能なコードが、分散式に記憶され、実行される
ように、コンピュータ読み取り可能な媒体を、ネットワーク結合コンピュータ・システム
を通じて、分散させることもできる。
【０１２１】
ハンドヘルド・デバイス、マイクロプロセッサ・システム、マイクロプロセッサを用い
た、または、プログラム可能な家庭用電化製品、ミニコンピュータ、メインフレーム（大
型汎用）・コンピュータ、および、その他同様のものを含む、種々様々なコンピュータ・
システム構成を用いて、本発明を実施してもよい。実施形態が、理解を明確にする目的で
、かなり詳細に記述されているが、一定の変形形態および変更形態を、本発明の範囲内に
おいて実施できることは明白である。したがって、記述されている実施形態は、例示的な
ものであって、限定的なものではないと考えられるべきであり、そして、本発明は、本明
細書に与えられている細目に制限されるべきではなくて、特許請求の範囲の範囲およびそ
の均等物内において変更できるものである。さらに、前述の明細書中で使用されている用
語および表現は、記述のための用語として用いられているのであって、制限するための用
語として用いられているのではなく、また、そのような用語および表現の使用には、示さ
れ、記述されている特徴の均等物、または、その一部を排除する目的は全く存在しない。
【図面の簡単な説明】
【０１２２】
【図１】（ａ）は、開いた配置での、典型的な携帯デバイスの前面の斜視図を例示し、（ｂ）は、閉じた配置での、（ａ）の携帯デバイスの背面の図を例示している。
【図２】典型的なディスプレイ・コントローラを含む、図１（ａ）の携帯デバイスのブロック図を示している。
【図３】本発明の実施形態を含むことができる、図２のディスプレイ・コントローラのブロック図を例示している。
【図４】本発明の実施形態による一典型的方法のフロー図を描いている。
【図５】本発明の実施形態による、比較的短いフレーム間期間だけ分離された複数のフレームから作成された、予測的な第１の多重露光画像を例示している。
【図６】本発明の実施形態による、比較的長いフレーム間期間だけ分離された複数のフレームから作成された、予測的な第２の多重露光画像を例示している。
【図７】図６の第２の画像が作成された、複数のフレーム、および、第２の画像を例示している。
【図８】図７の複数のフレームが追加書き込み操作で組み合わされて作成された、予測的な画像を描いている。
【符号の説明】
【０１２３】
２０…携帯デバイス、２２…画像センサ、２４…ディスプレイ、２６…ディスプレイ・
コントローラ、２８…ホスト、３０…入力デバイス、３２…マイクロフォン、３４…スピ
ーカ、３６…送受信器、４０…メモリ、４４…バッテリ、２６…ディスプレイ・コントロ
ーラ、４６…画像センサ・インターフェイス、４８…ホスト・インターフェイス、５０…
ディスプレイ・インターフェイス、５８…メモリ、６０…メモリ・コントローラ、６２ａ
…画像処理ユニット、６２ｂ…画像処理ユニット、６４…データ・バス、６８…アドレス
・バス、７０…制御・バス、７８…インテリジェント多重露光ユニット、８０…レジスタ
。
【図１】
2008104187.tif 000003
【図２】
2008104187.tif 000004
【図３】
2008104187.tif 000005
【図４】
2008104187.tif 000006
【図５】
2008104187.tif 000007
【図６】
2008104187.tif 000008
【図７】
2008104187.tif 000009
【図８】
2008104187.tif 000010