(57)【特許請求の範囲】
【請求項１】
観察者が立体視可能な画像を画面部に表示するための立体視データを生成する画像処理装置であって、
左目画像データと右目画像データとで構成された表示用データを格納するデータ記憶部と、
データを一時的に格納するための一時記憶部と、
前記一時記憶部の読出しと書込みを制御する制御部と、
前記データ記憶部から表示用データを読出して前記一時記憶部に書込む書込部と、
前記一時記憶部に格納された表示用データを読出して前記画面部に出力する読出部と、を備え、
前記表示用データを構成する左目画像データと右目画像データは、各々Ｎ個の単位データに分割されており、
前記一時記憶部は、前記単位データのＮ個分または（Ｎ＋１）個分のデータを格納するメモリ容量を有しており、
前記制御部は、
前記書込部に対して、前記データ記憶部から表示用データを構成する右目画像データまたは左目画像データのうち一方の画像データを所定書込順序で前記単位データ毎に読出して前記一時記憶部に書込んだ後、他方の画像データを前記所定書込順序で前記単位データ毎に読出して前記一時記憶部に書き込むよう制御し、
前記読出部に対して、前記一時記憶部のデータ格納領域が一旦すべて埋まった後、前記一時記憶部に格納された表示用データを、所定読出順序で左目画像データと右目画像データを交互に前記単位データ毎に読出して前記画面部へ出力を行って前記一時記憶部に空き領域を生じさせるように制御し、
さらに、前記書込部に対して、次に格納する前記単位データを前記一時記憶部に生じた前記空き領域へ順に格納するよう制御する、画像処理装置。
【請求項２】
前記制御部は、
前記書込部が前記データ記憶部から読出した単位データ毎に、順番を示す識別子を割り当て、
前記識別子に基づき前記所定読出順序に従った順番で、前記一時記憶部から単位データを読出すように前記読出部を制御する、請求項１に記載の画像処理装置。
【請求項３】
前記書込部による単位データを前記一時記憶部に書込む速さと、前記読出部による単位データを前記一時記憶部から読出す速さとは等しい、請求項１または２に記載の画像処理装置。
【請求項４】
前記画面部の表示領域の前面において視差バリアによるスリットが形成され、
前記単位データは、前記右目画像データと前記左目画像データとが各々前記スリットの方向に短冊状に分解されたラインデータである、請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記画面部の表示領域の前面において視差バリアによるスリットが形成され、
前記単位データのデータサイズは前記視差バリアにより形成されるスリットの開口部サイズに基づいて決定される、請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
請求項１から５のいずれかに記載の画像処理装置を備える、画像表示端末。
【請求項７】
データ記憶部に格納された左目画像データと右目画像データとで構成された表示用データから、立体視可能な画像を画面部に表示するための立体視データを生成する画像処理方法であって、
データを一時的に格納するための一時記憶部の読出しと書込みを制御する制御ステップを、備え、
前記表示用データを構成する左目画像データと右目画像データは、各々Ｎ個の単位データに分割されており、
前記一時記憶部は、前記単位データのＮ個分または（Ｎ＋１）個分のデータを格納するメモリ容量を有しており、
前記制御ステップは、
前記データ記憶部から表示用データを構成する右目画像データまたは左目画像データのうち一方の画像データを所定書込順序で前記単位データ毎に読出して前記一時記憶部に書込んだ後、他方の画像データから前記所定書込順序で前記単位データ毎に読出して前記一時記憶部に書き込むステップと、
前記書き込むステップにおいて前記一時記憶部のデータ格納領域が一旦すべて埋まった後、前記一時記憶部に格納された表示用データを、所定読出順序で左目画像データと右目画像データを交互に前記単位データ毎に読出して前記画面部へ出力を行って前記一時記憶部に空き領域を生じさせるステップと、
前記データ記憶部の表示用データのうち、次に前記一時記憶部に格納する前記単位データを、前記一時記憶部に生じた前記空き領域へ順に格納するステップと、を含む、画像処理方法。
【請求項８】
プロセッサを備える画像処理装置に、請求項７に記載の画像処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、複数の視点に対応した複数の画像を処理する装置に関する。
【背景技術】
【０００２】
従来、観察者が視差を有する１組の画像を立体視することにより、立体感のある画像を見ることができる立体画像表示方法が知られている。
【０００３】
たとえば、特許文献１（特開２０１０−１０９４１４号公報）には、視差画像データを構成するための表示装置が提案されている。この表示装置は、メモリを活用して、視差を有する左画像データと右画像データを交互に配置して、違和感のない立体画像を表示可能な視差画像データの合成のための機能を有する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１０９４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の視差画像データを合成するためには、少なくとも左画像データおよび右画像データの両方を格納可能なデータ容量が要求され、視差画像データを構成するためのメモリ容量の消費量が大きい。したがって、このような視差画像データを合成する方法を採用する装置の小型化が阻害される。
【０００６】
それゆえにこの発明の目的は、少ない記憶容量で立体視のための表示用データを生成する画像処理装置を提供することである。
【課題を解決するための手段】
【０００７】
この発明のある局面に従うと、観察者が立体視可能な画像を画面部に表示するための立体視データを生成する画像処理装置は、データを一時的に格納するための一時記憶部と、所定サイズの複数個の単位データに分割され、かつ視差を有した１組の表示用データを格納するデータ記憶部から、単位データ毎に表示用データを読出し、読出した各単位データを一時記憶部に書込む書込部と、書込部により書込みがされるときに一時記憶部から単位データ毎に表示用データを読出し、読出した各単位データを画面部に出力する読出部と、一時記憶部について単位データの読書きを制御するための制御部と、を備える。
【０００８】
制御部は、データ記憶部から読出した単位データを、当該読出しの直前に読出部により単位データが読出された一時記憶部の領域に書込むように書込部を制御する。
【０００９】
好ましくは、制御部は、書込部がデータ記憶部から読出した単位データ毎に、順番を示す識別子を割り当てる。そして、制御部は、識別子に基づき立体視データを生成するための所定順序に従った順番で単位データを一時記憶部から読出すように読出部を制御する。
【００１０】
好ましくは、書込部による単位データを一時記憶部に書込む速さと、読出部による単位データを一時記憶部から読出す速さとは等しい。
【００１１】
好ましくは、画面の表示領域の前面において視差バリアによるスリットが形成され、所定サイズは、スリットのサイズに基づき決定される。
【００１２】
好ましくは、所定サイズは可変である。
この発明の他の局面に従うと、上述の画像処理装置を備える画像表示端末が提供される。
【００１３】
この発明のさらに他の局面に従うと、観察者が立体視可能な画像を画面部に表示するための立体視データを生成する画像処理方法は、所定サイズの複数個の単位データに分割され、かつ視差を有した１組の表示用データを格納するデータ記憶部から、単位データ毎に表示用データを読出し、読出した各単位データを一時記憶部に書込むステップと、書込むステップにより書込みがされるときに一時記憶部から単位データ毎に表示用データを読出し、読出した各単位データを画面部に出力するステップと、一時記憶部について単位データの読書きを制御するためのステップと、を備える。
【００１４】
制御するためのステップでは、データ記憶部から読出した単位データを、当該読出しの直前に単位データが読出された一時記憶部の領域に書込むように書込むステップを制御する。
【００１５】
この発明のさらに他の局面に従う、画像処理装置に、観察者が立体視可能な画像を画面部に表示するための立体視データを生成させるためのプログラムは、画像処理装置に、所定サイズの複数個の単位データに分割され、かつ視差を有した１組の表示用データを格納するデータ記憶部から、単位データ毎に表示用データを読出し、読出した各単位データを一時記憶部に書込むステップと、書込むステップにより書込みがされるときに一時記憶部から単位データ毎に表示用データを読出し、読出した各単位データを画面部に出力するステップと、一時記憶部について単位データの読書きを制御するためのステップと、を実行させる。この制御するためのステップでは、データ記憶部から読出した単位データを、当該読出しの直前に単位データが読出された一時記憶部の領域に書込むように書込むステップを制御する。
【発明の効果】
【００１６】
本発明では、少ない記憶容量で立体視のための表示用データが生成される。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態に係る携帯端末の外観図である。
【図２】第１の実施の形態に係る携帯端末のハードウェア構成図である。
【図３】画像処理部を表示部の構成と関連付けて示す図である。
【図４】第１の実施の形態に係る視差バリア方式を説明するための図である。
【図５】第１の実施の形態に係る視差バリア方式を説明するための図である。
【図６】第１の実施の形態に係る視差バリア方式を説明するための図である。
【図７】第１の実施の形態に係る視差バリア方式を説明するための図である。
【図８】第１の実施の形態に係る画像処理部の構成を説明するための図である。
【図９】第１の実施の形態に係る画像データを説明する図である。
【図１０】第１の実施の形態に係る画像データを説明する図である。
【図１１】第１の実施の形態に係る画像データを説明する図である。
【図１２】第１の実施の形態に係る画像データを説明する図である。
【図１３】第１の実施の形態に係るテーブルを説明する図である。
【図１４】第１の実施の形態に係る処理フローチャートである。
【図１５】第１の実施の形態に係る画像組み換え処理を説明するための図である。
【図１６】画像組み換え処理により取得される画像データを説明するための図である。
【図１７】第１の実施の形態に係る画像組み換え処理の他の例を説明するための図である。
【図１８】テーブルを用いない画像組み換え処理を説明するための図である。
【図１９】第１の実施の形態に係る画像組み換え処理のさらなる他の例を説明するための図である。
【図２０】入力画像と出力画像の方向に従う処理を説明するための図である。
【図２１】入力画像と出力画像の方向に従う処理を説明するための図である。
【図２２】入力画像と出力画像の方向に従う処理を説明するための図である。
【図２３】第１の実施の形態に係る画像組み換え処理の変形例を説明するための図である。
【図２４】第１の実施の形態に係る画像組み換え処理の変形例を説明するための図である。
【図２５】第１の実施の形態に係る画像組み換え処理の変形例を説明するための図である。
【図２６】第１の実施の形態に係る画像組み換え処理の変形例を説明するための図である。
【図２７】第１の実施の形態に係る画像組み換え処理の変形例を説明するための図である。
【図２８】第１の実施の形態に係る画像組み換え処理の変形例を説明するための図である。
【図２９】第１の実施の形態に係る画像組み換え処理の変形例を説明するための図である。
【図３０】第１の実施の形態に係る画像組み換え処理の変形例を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１９】
＜第１の実施の形態＞
図１を参照して、本発明の第１の実施の形態に係る携帯端末１００について説明する。図１は、携帯端末１００の外観を表わす図である。携帯端末１００は、観察者が立体視するための画像を含む各種画像を表示するための長方形状のディスプレイに相当の表示部１２０および入力部１３０を備える。表示部１２０には、液晶表示装置を適用するが、液晶に限られず、有機ＥＬ（Electro  Luminescence）を用いてもよい。入力部１３０は、ユーザにより操作されて、携帯端末１００に対する命令の入力操作を受け付ける操作受付部に相当する。入力部１３０は、物理的なスイッチおよびソフトウェアスイッチの何れでも実現され得る。携帯端末１００は、たとえば、携帯電話機、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）、タブレット型ＰＣ（Personal  Computer）等として実現される。
【００２０】
また、携帯端末１００は、表示部１２０と操作受付部が一体的に構成された、タッチパネルを備えるとしてもよい。
【００２１】
図２を参照して、本発明の実施の形態に係る携帯端末１００の構成についてさらに説明する。図２は、携帯端末１００のハードウェア構成を表わすブロック図である。携帯端末１００は、ＣＰＵ（Central  Processing  Unit）１１０、表示部１２０、入力部１３０、記憶部１４５、外部メモリ１７０、および通信Ｉ／Ｆ（Interface）１８０を備える。  
【００２２】
外部メモリ１７０は、図示しないＩ／Ｆ（Interface）を介して携帯端末１００に着脱自在に装着されて、ＣＰＵ１０は装着された外部メモリ１７０をアクセスする。記憶部１４５は、プログラムおよびデータを格納するためのＲＡＭ（Random  Access  Memory）１４０およびＲＯＭ（Read-Only  Memory）１５０を含む。通信Ｉ／Ｆ１８０は、外部装置または図示しないネットワークと無線／有線で通信するためにアンテナ１９０を接続する。
【００２３】
通信Ｉ／Ｆ１８０は、Ｗｉ−Ｆｉ（登録商標：Wireless Fidelityの略）、Bluetooth（登録商標）等によって実現されるが、これらに限られない。外部メモリ１７０は、たとえば不揮発性記憶媒体からなるメモリカードとして実現される。
【００２４】
ＣＰＵ１１０は、視差バリア方式を利用することにより、観察者が視差を有する１組の画像を立体視するのを可能にするための画像処理部１０２および視差バリア制御部１０３を含む。画像処理部１０２および視差バリア制御部１０３は、プログラムにより実現される。ＣＰＵ１１０は、記憶部１４５から当該プログラムを読出し、読出したプログラムの命令を実行することにより画像処理部１０２および視差バリア制御部１０３の機能が実現される。なお、画像処理部１０２および視差バリア制御部１０３は、プログラムと回路の組合せにより実現されてもよい。
【００２５】
図３には、本実施の形態に係る画像処理部１０２が、表示部１２０と関連付けて示される。表示部１２０は、画像を表示するためのＬＣＤ（Liquid  Crystal  Display）パネル１０５、画像データに基づきＬＣＤパネル１０５を駆動するためのＬＣＤ駆動回路１０６、ＬＣＤパネル１０５に表示される画像を観察者が立体視するための視差バリア１０４、および制御信号に従って視差バリア１０４を駆動するためのバリア駆動回路１０７を含む。ここでは、ＬＣＤパネル１０５およびＬＣＤ駆動回路１０６により画像を表示するための画面部が構成される。
【００２６】
画像処理部１０２は、画像データ記憶部１０１から画像データを読出すことで画像データを取得する画像取得部を有し、画像取得部により取得された画像データを処理することにより、表示部１２０に立体視可能に表示するための画像データを生成する。生成した画像データは、表示部１２０のＬＣＤ駆動回路１０６に出力される。
【００２７】
画像データ記憶部１０１は、画像を表示するために加工をする前の画像データ（たとえば、図３に示される左目画像２００、右目画像２０１）を格納する。画像データ記憶部１０１は記憶部１４５の一部に対応する。ある局面において、画像データ記憶部１０１は、作業用メモリ領域を提供するための揮発性メモリや、データを永続的に保持するための不揮発性メモリとして実現される。
【００２８】
画像データ記憶部１０１に格納される画像データには、通信Ｉ／Ｆ１８０を介して受信した画像データ、外部メモリ１７０から読出された画像データ、ＣＰＵ１１０が実行するアプリケーションプログラムの実行結果に従う画像データ、図示しないカメラにより撮像された画像データなどが含まれる。
【００２９】
また、視差バリア制御部１０３は、バリア駆動回路１０７に制御信号を出力する。視差バリア制御部１０３は、ＬＣＤパネル１０５の表示領域の前面に、視差バリア１０４によるスリットを形成する。たとえば、視差バリア制御部１０３は、ＣＰＵ１１０からの要求により、スリットの形成と非形成とを切り替える。ＣＰＵ１１０は、入力部１３０が操作されることにより与えられる命令に基づき、当該要求を出力する。なお、この要求は、入力部１３０の操作によるものに限定されず、たとえば、ＣＰＵ１１０が実行するアプリケーションプログラムの実行結果によるものであってもよい。
【００３０】
（視差バリアによるスリット形成）
視差バリア制御部１０３は、たとえば、図６に示されるように、スリットを表示していない画面４００と、画面の短辺が延びる方向（Ｘ方向）と平行にスリットを表示している画面４０１と、画面の長辺が延びる方向（Ｙ方向）と平行にスリットを表示している画面４０２との間で、スリット表示と非表示とを切り替える。なお、スリットの表示とは、スリットが形成されるものの、観察者にはスリットを視認できない状態である。
【００３１】
ここで、図４〜図７を参照して、視差バリア方式について説明する。図４は、左目画像と右目画像とに対する画像処理を説明するための図である。ここでは、処理される画像は、長方形状を有すると想定する。
【００３２】
図４に示されるように、左目画像２００と右目画像２０１は、画像の短辺が延びる方向に沿って短冊状に分解される。一例として、画像処理部１０２は、画像データ記憶部１０１から読出された左目画像２００と右目画像２０１とを、それぞれ交互に並べることにより、一枚の画像２０２を生成する。ＬＣＤ駆動回路１０６が生成される画像２０２のデータに基づきＬＣＤパネル１０５を駆動することにより、画像２０２が表示される。画像２０２が表示されるとき、バリア駆動回路１０７により視差バリア１０４が形成される。これにより、画像を分解した方向と同方向に延びる短冊状のスリットが形成される。
【００３３】
図５は、観察者が立体画像を観察している様子を説明するための図である。図５に示されるように、ＬＣＤパネル１０５に表示される画像２０２は、スリットである視差バリア１０４を通して観察者に視認される。観察者は、視差バリア１０４を介して、短冊状に配置された左目画像を観察者の左目で視認し、右目画像を右目で視認するので、立体画像を観察することができる。
【００３４】
また、視差バリア１０４は、電気的に制御することができる。たとえば、バリア駆動回路１０７が視差バリア制御部１０３から与えられる制御信号に従って駆動信号を、たとえば“０”と“１”に切り替えることにより、視差バリア１０４の表示と非表示とを切り替えることができる。また、駆動信号を用いて視差バリア１０４の表示によるスリットが延びる方向を切り替えることができる。
【００３５】
図６および図７を参照して、視差バリア制御部１０３による視差バリア１０４を用いたスリットの表示と非表示との切り替えを、スリットが延びる方向と関連付けて説明する。図６は、スリットの表示例を表わす図である。図７は、左目画像と右目画像に対する画像処理を示す説明図である。ＬＣＤパネル１０５の表示領域が長方形である場合、電気的に制御可能なスリットを、当該表示領域の短辺が延びる方向に対して平行にまたは垂直に延びるように、表示することができる。
【００３６】
画面４００は、スリットを表示していない状態の表示領域における画面である。電気的な制御により、画面４０１または４０２を形成することができる。画面４０１は、スリットの方向が画面４００の短辺が延びる方向に対して平行になるようにスリットを表示している。画面４０２は、スリットの方向が画面４００の短辺が延びる方向に対して垂直になるようにスリットを表示している。また、他の局面において、スリットを表示している状態で、画面４０１から画面４０２への切り替え、もしくはその逆への切り替えも可能である。
【００３７】
スリットを形成している場合、スリットの方向と同じ方向に短冊状に分解された左目画像および右目画像を表示する必要がある。このとき、画面４０１のように、スリットが画面の短辺が延びる方向に対して平行になるよう表示されている場合には、図４における画像２０２のような短冊状に分解した左目画像２００と右目画像２０１とがスリットの方向と同じ方向に並べられた画像を表示する。また、スリットが画面の短辺が延びる方向に対して垂直になるように表示されている場合には、図７の画像５００のような短冊状に分解された左目画像２００と右目画像２０１をスリット方向と同じ方向に並べられた画像を表示する。
【００３８】
（画像組み換え処理）
ここで、画像処理部１０２の画像組み換え処理について説明する。本実施の形態に係る画像組み換え処理は、図４に示したように、視差を有した左目画像２００と右目画像２０１を短冊状に分解し、分解された左目画像２００と右目画像２０１とを、それぞれ交互に並べることにより、一枚の画像２０２を生成する処理を指す。図８には画像処理部１０２の構成が示され、また、図９〜図１２には、画像組み換え処理が施される画像データが示される。
【００３９】
図９〜図１２を参照して、左目画像２００と右目画像２０１を、画像の短辺が延びる方向に沿って短冊状に分解して得られる各画像データを説明する。
【００４０】
図９と図１０には、左目画像２００に対応の左目画像データＬと、右目画像２０１に対応の右目画像データＲが示される。画像組み換え処理に際して、左目画像データＬは、短冊状に分解して得られる画像データ（以下、ラインデータという）Ｌｉ（ｉ＝０、１、２、３）を含み、右目画像データＲは、短冊状に分解して得られる画像データ（以下、ラインデータという）Ｒｉ（ｉ＝０、１、２、３）を含むと想定する。ここでは説明を簡単にするために、左目画像データＬおよび右目画像データＲのそれぞれが含むラインデータの数は、４個としたが、４個以上であってもよい。４個以上の場合であっても、以下に説明する組み換え処理を適用することができる。
【００４１】
なお、ラインデータＬｉおよびＲｉのデータサイズは、たとえば、視差バリア１０４により形成されるスリットの開口部サイズにより決まる。
【００４２】
図１１と１２には、ラインデータＬｉ（Ｒｉ）の構成例が示される。ラインデータＬｉ（Ｒｉ）は、ＲＧＢ（Red、Green、Blue）の３ドットからなる画素データＰｋ（ｋ＝０、１、２、３、・・・ｎ）を含むデータ５１２を含む。本実施の形態では、たとえばｎ＝４７９とする。
【００４３】
図１３には、テーブル３０１の一例が示される。テーブル３０１は、ライン番号と、当該ライン番号のラインデータ（またはデータ５１２）が格納された領域のアドレスデータとからなるレコードを複数格納し得る。ここでは、レコード単位で格納されるとしたが、ライン番号とアドレスデータが対応付けされる形式であれば、格納の形式はレコード形式に限定されるものではない。
【００４４】
図８を参照して画像処理部１０２は、画像組み換えのために用いる記憶部３００、記憶部３００に関連して書込部３０４、読出部３０５、テーブル管理部３０６、およびポインタ管理部３０７を備える。記憶部３００は、記憶部１４５に対応する。
【００４５】
読出部３０５は、バッファ３０２にから読出したラインデータを画面部、より特定的にはＬＣＤ駆動回路１０６に出力する。ここで、ＬＣＤパネル１０５はマトリックス状に配列された電極を有し、ＬＣＤ駆動回路１０６は、与えられる各ラインデータの画素データＰｋに対応した電極に電圧を印加する。これにより、ＬＣＤパネル１０５において画像を表示することができる。
【００４６】
記憶部３００は画像データを格納するためのバッファ３０２、およびバッファ３０２における画像データが格納される領域のアドレスを格納するためのテーブル３０１を含む。テーブル管理部３０６は、テーブル３０１のデータを管理する。
【００４７】
また、バッファ３０２に関連して、リードポインタＲＰおよびライトポインタＷＰが設けられる。リードポインタＲＰは読出部３０５がバッファ３０２から読出すべき画像データのアドレスを指し、ライトポインタＷＰは書込部３０４が画像データを書込むべきバッファ３０２のアドレスを指す。ポインタ管理部３０７は、リードポインタＲＰおよびライトポインタＷＰが指すアドレスを管理する。ここでは、書込部３０４がラインデータをバッファ３０２に書込む速度と、読出部３０５がバッファ３０２からラインデータを読出す速度は等しいと想定している。
【００４８】
図１４のフローチャート、および図１５を参照して、本実施の形態に係る画像組み換え処理について説明する。図１４のフローチャートに従う処理はプログラムとして記憶部１４５などの記憶部に格納されており、ＣＰＵ１１０が、当該プログラムを記憶部から読出し、実行することにより、フローチャートに従う処理が実現される。なお、視差バリア１０４により、図６の画面４０１のようにスリットが形成されると想定する。
【００４９】
図１５（Ａ）は、画像データ記憶部１０１に格納される視差を有した左目画像データＬと右目画像データＲは短冊状に分解されたラインデータＬｉ（Ｒｉ）を含む。図１５（Ｂ）は、書込部３０４が、ライトポインタＷＰのアドレスが指す領域にラインデータを書込むためのタイミングチャートを示す。図１５（Ｃ）は、バッファ３０２に格納されているラインデータを模式的に示す。図１５（Ｄ）は、読出部３０５が、リードポインタＲＰのアドレスが指す領域からラインデータを読出すためのタイミングチャートを示す。
【００５０】
なお、これらタイミングチャートは、画像データ記憶部１０１の視差を有した１組の画像データ（左目画像データＬおよび右目画像データＲ）を、ＬＣＤパネル１０５に表示される場合に観察者が立体視可能な画像データを生成するために、ラインデータＬｉ（Ｒｉ）の画像データ記憶部１０１から読出す順番を規定するためのものであり、画像処理部１０２に関連のアプリケーションプログラムなどにより予め定められていると想定する。
【００５１】
図１５（Ｃ）の矢印Ｖが示す方向の領域は、バッファ３０２のラインデータが格納される領域を指し、矢印Ｈが示す方向は、図１５（Ｂ）と（Ｄ）のタイミングチャートに関連付けて、バッファ３０２に格納されるラインデータの時系列変化を示す。矢印Ｖで示すように、本実施の形態では、画像組み換え処理のためにバッファ３０２に必要とされるメモリ容量は、左目画像データＬ（右目画像データＲ）に含まれるラインデータの個数（４個）＋１個の、合計５個のラインデータを格納できる容量であればよい。このように、バッファ３０２は、少なくとも左目画像データＬおよび右目画像データＲの一方に含まれるラインデータを格納できる容量を有すればよく、以降、バッファ３０２を半面バッファと呼ぶ場合がある。
【００５２】
図８において、左目画像データＬ、右目画像データＲおよび画像データＬＲの矢印５１５は、画像を画像データ記憶部１０１から読出す順番を模式的に示している。
【００５３】
画像データ記憶部１０１には、視差を有した左目画像データＬと右目画像データＲが格納されて（図１５（Ａ）参照）、画像組み換え処理により画像データＬＲが取得されると想定する（図１５（Ｅ）参照）。また、初期状態ではライトポインタＷＰおよびリードポインタＲＰは、バッファ３０２の所定アドレス、たとえば先頭アドレスを指すと想定する。
【００５４】
初期状態において画像立体視（以下、３Ｄ（three−dimensional）という）モードに切替えられると、書込部３０４は、ＣＰＵ１１０からの画像組み換え指示に応答して、画像データ記憶部１０１の左目画像データＬからラインデータＬｉを格納されている順番に読出す（図１５（Ｂ）参照）。書込部３０４は、読出したラインデータＬｉを、ライトポインタＷＰが指示するバッファ３０２の領域に書込み、書込む毎に、テーブル管理部３０６とポインタ管理部３０７とに格納完了通知ＷＣを出力する。
【００５５】
テーブル管理部３０６は、格納完了通知ＷＣを入力すると、ポインタ管理部３０７を介してライトポインタＷＰが現在指示するアドレスを取得し、取得したアドレスを示すアドレスデータと、書込まれたラインデータに対して、画像データ記憶部１０１から読み出した順番に従い割当てた識別子からなるレコードを生成し、テーブル３０１に格納する。
【００５６】
このように、テーブル管理部３０６は書込部３０４が画像データ記憶部１０１から読出したラインデータ毎に、順番を示す識別子であるライン番号を割り当てる。
【００５７】
なお、画像データ記憶部１０１から読出される各ラインデータに割当てるライン番号は、立体視可能な画像を表示するために、プログラムによって予め決められていると想定する。
【００５８】
ポインタ管理部３０７は、格納完了通知ＷＣを入力すると、ライトポインタＷＰの値を現在指示するアドレスから空領域のアドレス（ここでは、次位アドレス）を指示するように更新する。ここで、空領域とは、直前にラインデータが読出された領域、または何らデータが書込まれていない領域を指す。なお、ポインタ管理部３０７は、ライトポインタＷＰがバッファ３０２の最終アドレスを指示するときは、次位アドレスとして先頭アドレスを指示するように更新する。
【００５９】
これにより、図１５（Ｂ）のタイミングチャートに従ってライン番号Ｌ０、Ｌ１、Ｌ２、Ｌ３が割当てされたラインデータ（以下、ラインデータＬ０、Ｌ１、Ｌ２、Ｌ３という）が画像データ記憶部１０１から読出され、読出された順番に従って、バッファ３０２の先頭アドレスの領域から格納され、その領域のアドレスデータが上述のライン番号と対応付けてテーブル３０１に格納される。この処理は、図１４のステップＳ１の処理に相当する。
【００６０】
その後、ポインタ管理部３０７は、ライン番号に基づきラインデータＬ３の書込みを完了したことを検出すると、読出部３０５に読出し開始の要求ＥＸを出力するとともに、画像データ記憶部１０１から次のラインデータを読出す。このラインデータにはライン番号Ｒ０が割当てされる。ライン番号Ｒ０が割当てされたラインデータＲ０は、書込部３０４によりライトポインタＷＰが指示するアドレスの領域に格納される。また、その領域のアドレスデータがライン番号と対応付けてテーブル３０１に格納される（ステップＳ３）。
【００６１】
要求ＥＸ出力の後も、書込部３０４は、画像データ記憶部１０１からラインデータ（ラインデータＲ１、Ｒ２、Ｒ３）の読出しと、バッファ３０２への書込みを継続する一方で、読出部３０５は、要求ＥＸを入力すると、バッファ３０２からラインデータの読出しを開始する。
【００６２】
具体的には、ポインタ管理部３０７はテーブル３０１を検索して、ライン番号に従う所定順番で、すなわちラインデータＬ０、Ｒ０、Ｌ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３、Ｌ４、Ｒ４の順に従って読出しが行われるようにリードポインタＲＰの値を順次更新する。これにより、読出部３０５は、バッファ３０２から、リードポインタＲＰが指すアドレスの領域からラインデータＬ０、Ｒ０、Ｌ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３、Ｌ４、Ｒ４の順に読出す。ここで、読出部３０５がラインデータを読出す毎に、ポインタ管理部３０７はテーブル３０１に基づき、ライトポインタＷＰを直前に読出しがなされた領域のアドレスを指示するように更新する。したがって、書込部３０４は、ラインデータＲｉを書込む際に、直前に読出部３０５によりラインデータが読出された領域に当該ラインデータＲｉを書込むことができる（図１４のステップＳ５）。
【００６３】
なお、ポインタ管理部３０７は、テーブル３０１のライン番号に基づき立体視のための画像データを生成するための所定順序に従った順番でラインデータが読出されるようにリードポインタＲＰの値を更新する。
【００６４】
このように、ラインデータＲ０を書込み後は、１個のラインデータＬｉを読出して空きとなった領域に、直後に画像データ記憶部１０１から読出したラインデータＲｉを書込む処理を繰返すことで、バッファ３０２について必要とされる領域を５個のラインデータを格納するだけの容量とすることが可能になる。
【００６５】
以降は、リードポインタＲＰが指す領域からラインデータを読出す処理を繰返すことで、ラインデータＬ０、Ｒ０、Ｌ１、Ｒ１、Ｌ２、Ｒ２、Ｌ３、Ｒ３、Ｌ４、Ｒ４の順番に読出しが行われる。その結果、画面部には図１５（Ｅ）のようにバッファ３０２から読出された順番に従ってラインデータＬｉとＲｉが交互に配置された画像データＬＲが出力される。このように、読出部３０５が読出したラインデータから、ＬＣＤパネル１０５に表示した場合に観察者が立体視できる画像データを生成することができる。
【００６６】
図１６には、画像データ記憶部１０１に格納される左目画像データＬおよび右目画像データＲ（図１６（Ａ）参照）を、上述の画像組み換え処理をして得られる画像データＬＲ（図１６（Ｂ）参照）が例示される。
【００６７】
上述では、バッファ３０２には、５個のラインデータを格納する容量を有しているが、変形例として、図８の構成を利用して、以下に説明するように、バッファ３０２に必要とされる容量を、４個のラインデータを格納する容量とすることもできる。
【００６８】
図１５（Ｆ）は、変形例に係るテーブル３０１のデータを説明する図である。つまり、要求ＥＸに応じて読出部３０５による読出しが開始される直前においては、テーブル３０１には、ラインデータＬ０〜Ｌ３のアドレスデータＬ［０］、Ｌ［１］、Ｌ［２］およびＬ［３］が格納されている。
【００６９】
読出しが開始されると、まず、バッファ３０２のアドレスデータＬ［０］の領域からラインデータＬ０が読出されて、その直後に、画像データ記憶部１０１から読出されたラインデータＲ０が当該領域に格納される。このようにすると、アドレスデータＬ［０］の領域と、ラインデータＲ０を格納する領域（アドレスデータＲ［０］の領域）とを共用できる。
【００７０】
続いて、バッファ３０２のアドレスデータＬ［１］の領域からラインデータＬ１が読出されて、その直後に、画像データ記憶部１０１から読出されたラインデータＲ１が当該領域に格納される。このようにすると、アドレスデータＬ［１］の領域と、ラインデータＲ１を格納する領域（アドレスデータＲ［１］の領域）とを共用できる。
【００７１】
以降、ラインデータＬ２、Ｌ３の読出しと、ラインデータＲ２とＲ３の書込みが同様に行われることで、アドレスデータＬ［２］の領域と、ラインデータＲ２を格納する領域（アドレスデータＲ［２］の領域）とを共用でき、また、アドレスデータＬ［３］の領域と、ラインデータＲ３を格納する領域（アドレスデータＲ［３］の領域）とを共用できる。
【００７２】
このように、バッファ３０２において、読出部３０５により読出されたラインデータを格納していた領域を、直後に画像データ記憶部１０１から読出したラインデータを書込む（格納）領域に利用することで、バッファ３０２に必要とされるメモリ容量を、４個分のラインデータを格納するメモリ容量にまで削減することができる。
【００７３】
本実施の形態によれば、バッファ３０２とテーブル３０１を利用するとしても、１個当たりのラインデータが数キロビットのデータ量であるのに対し、テーブル３０１のレコードは数ビット程度の容量であるから、画像組み換え処理に必要なメモリ容量を少なくすることができる。
【００７４】
上述の画像組み換え処理では、画像データ記憶部１０１から読出されたラインデータは、バッファ３０２の直前にラインデータが読出された領域に書込むように制御するとともに、書込部３０４の書込速度と読出部３０５の読出速度とは等しいから、異なるラインデータ同士が混ざりあった状態の画像データＬＲが生成されるのを回避できて、その結果、混ざりあった状態の画像が表示される（ティアリング）のを防止することができる。
【００７５】
図１５では、画像データＬＲをラインデータＬｉ，Ｒｉの順番となるように画像組み換え処理をしたが、図１７（Ｅ）のようにラインデータＲｉ，Ｌｉの順番となるように画像組み換え処理をすることもできる。
【００７６】
図１７（Ａ）と（Ｂ）の入力画像データおよびバッファ３０２への書込みタイミングチャートは図１５（Ａ）と図１５（Ｂ）と同じであるが、バッファ３０２に格納されるラインデータ（図１７（Ｃ））と読出しタイミングチャート（図１７（Ｄ））は、図１５（Ｃ）と図１５（Ｄ）とは相違する。
【００７７】
図１７では、画像データ記憶部１０１のラインデータＲ０をラインデータＬ０よりも先に画面部に出力することになる。したがって、図１５で説明したラインデータＲ０のバッファ３０２への書込み処理（図１４のステップＳ３）を省略することができる。
【００７８】
参考のために、図１８には、アドレスのテーブル３０１を用いることなく、左目画像データＬおよび右目画像データＲの全てのラインデータを画像データ記憶部１０１から読出し、バッファ３０２に格納するケースを示す（図１８（Ａ））。この場合は、図１８（Ｂ）のタイミングチャートに従って、バッファ３０２からラインデータＬｉ、Ｒｉを交互に読出すことで、図１８（Ｃ）の画像データＬＲを取得できる。
【００７９】
図１８では、テーブル３０１は不要であるが、バッファ３０２には、図１５または図１７のケースのおおよそ２倍の容量が必要とされる。
【００８０】
図８の構成を用いて、図１９に示すように、図１５とは逆の順番でラインデータの読出しと、書込みを行うこともできる。具体的には、図１９（Ａ）の画像データ記憶部１０１から、図１９（Ｂ）のタイミングチャートに従ってラインデータＬｉ、Ｒｉを交互に読出してバッファ３０２に格納する。バッファ３０２からの読出し時には、図１９（Ｄ）のタイミングチャートに従ってバッファ３０２からラインデータを読出し、画面部にラインデータＬｉ（Ｌ０〜Ｌ３）を出力し、続いてラインデータＲｉ（Ｒ０〜Ｒ３）を格納する（図１９（Ｅ）参照）。
【００８１】
図１９のケースは、３Ｄ表示モードの画像データＬＲを、平面画像である２Ｄ（two-dimensional）表示モードの画像データに変換する場合に適用することができる。
【００８２】
ここでは、組み換え処理されるデータを画像データとしたが、画像データに限定されるものではなく、ＬＣＤパネル１０５に表示されるデータであればよい。
【００８３】
また、バッファ３０２への書込み、および読出しの単位データのサイズは、１個のラインデータとしたが、まとまった一定のデータ量（２個のラインデータなど）であればよく、データサイズは限定されるものではない。
【００８４】
また、図８では、テーブル３０１とバッファ３０２は、同一の記憶部３００に格納したが、異なる記憶部に格納するとしてもよい。たとえば、テーブル３０１は、記憶部１４５のＳＲＡＭ（Static  Random  Access  Memory）で構成し、画像データを一時的に保存しておくためのバッファ３０２は記憶部１４５のｅＤＲＡＭ（embedded  Dynamic  Random  Access  Memory）で構成するとしてもよい。
【００８５】
ここで、上述した画像組み換え処理に伴う画像の入替え方向について説明する。ここでは、画像の向き（方向）とは、画像において各ラインデータの画素データＰｋが並ぶ方向（Ｘ方向またはＹ方向）を示す。
【００８６】
図２０には入力画像と出力画像の向きが同じであるケースが示される。図２０（Ａ）の入力画像（右目画像データＲ、左目画像データＬ）の場合には、入力画像から１ラインデータを読出すと、バッファ３０２を介して、出力画像の２ラインデータ分を取得できる（図２０（Ｂ）参照）。したがって、バッファ３０２については１個のラインデータを格納可能な容量を有すればよい。これに対して図２０（Ｃ）の入力画像から、図２０（Ｄ）の出力画像を取得するには、本実施の形態で説明したように、半面バッファを利用することができる。
【００８７】
図２１には入力画像と出力画像の向きが同じである他のケースが示される。図２１（Ｃ）の入力画像（右目画像データＲ、左目画像データＬ）の場合には、入力画像から１ラインデータを読出すと、バッファ３０２を介して、出力画像の２ラインデータ分を取得できる（図２１（Ｄ）参照）。したがって、バッファ３０２については１個のラインデータを格納可能な容量を有すればよい。これに対して図２１（Ａ）の入力画像から、図２１（Ｂ）の出力画像を取得するには、本実施の形態で説明したように、半面バッファを利用することができる。
【００８８】
図２２には、入力画像と出力画像の方向が異なるケースが示される。図２２（Ａ）の入力画像を９０度回転処理する。回転処理後の画像は図２０（Ｃ）の入力画像を示す。したがって、半面バッファを用いて、図２２（Ｂ）の出力画像を取得することができる。
【００８９】
また、図２２（Ｃ）の入力画像についても、９０度回転処理し、回転処理後の画像は図２１（Ａ）の入力画像を示す。したがって、半面バッファを用いて、図２２（Ｄ）の出力画像を取得することができる。なお、９０度回転処理においてティアリングを防止するために、好ましくは、別途、バッファを用いる。
【００９０】
図２３〜図３０を参照して、画像組み換え処理のさらなる変形例について説明する。
図２３には、画像データ記憶部１０１に格納される入力画像が示される。この入力画像は、左目画像データＬおよび右目画像データＲを含む。上述の画像組み換え処理により図２３の入力画像から、図２４のような出力画像を得ることができる。図２４の出力画像では、ラインデータＬ０、Ｒ０、Ｌ１、Ｒ１…の順に従って、左目画像データＬと右目画像データＲのラインデータが１個ずつ交互に配置される。視差バリア１０４の仕様の仕様によっては、２ラインデータずつ交互に配置することもできる。
【００９１】
図２５では、図２３の入力画像から、ラインデータＬ０、Ｌ１、Ｒ０、Ｒ１、Ｌ２、Ｌ３…というように、２ラインデータずつ交互に入替えて取得される出力画像が例示される。具体的には、画像データ記憶部１０１からは１ラインデータずつ読出し、読出したラインデータをバッファ３０２に書込むが、バッファ３０２からの２ラインデータずつ読出し、読出した２ラインデータを画面部に出力することで、図２５の出力画像を取得することができる。
【００９２】
図２６は、図２５の変形例であって、まず右目画像データのラインデータＲｉ、次に左目画像のラインデータＬｉを、２ラインデータずつ交互に入替えて配置されて取得される出力画像を示す。
【００９３】
図２５および図２６では、２ラインデータずつ交互に配置したが、図２７と図２８のように、一定の態様で配置されるラインデータを含む複数個のブロックＢＬを配置することにより、出力画像を生成することができる。
【００９４】
図２９と図３０では、ラインデータの画素データＰｋのＲＧＢの配列を異ならせた態様が示される。
【００９５】
＜第２の実施の形態＞
上述した実施の形態では、画像処理部１０２が搭載される画像表示端末として携帯端末１００を例示したが、携帯型ではない据え置き型のコンピュータなどの画像表示端末に搭載されてもよい。
【００９６】
本実施の形態における携帯端末１００が行なう画像処理の方法は、プログラムとして提供することができる。このようなプログラムは、携帯端末１００または上述の情報処理端末に付属するＣＤ（Compact  Disc）−ＲＯＭ、ＲＯＭ、ＲＡＭおよび外部メモリ１７０に相当するメモリカードなどのＣＰＵ１１０が読取り可能な記録媒体に記録させて、プログラム製品として提供することもできる。あるいは、情報処理端末に内蔵する図示のないハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介した携帯端末１００または情報処理端末の所定記憶領域へのダウンロードによって、プログラムを提供することもできる。
【００９７】
提供されるプログラム製品は、記憶部１４５などのプログラム格納部にインストールされてＣＰＵ１１０により読出されて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００９８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００９９】
１００  携帯端末、１０１  画像データ記憶部、１０２  画像処理部、１０３  視差バリア制御部、１０４  視差バリア、１０５  ＬＣＤパネル、３０１  テーブル、３０２  バッファ、３０４  書込部、３０５  読出部、３０６  テーブル管理部、３０７  ポインタ管理部、Ｌ  左目画像データ、Ｒ  右目画像データ、ＲＰ  リードポインタ、ＷＰ  ライトポインタ。
【図１】
0005972560.tif 000002
【図２】
0005972560.tif 000003
【図３】
0005972560.tif 000004
【図４】
0005972560.tif 000005
【図５】
0005972560.tif 000006
【図６】
0005972560.tif 000007
【図７】
0005972560.tif 000008
【図８】
0005972560.tif 000009
【図９】
0005972560.tif 000010
【図１０】
0005972560.tif 000011
【図１１】
0005972560.tif 000012
【図１２】
0005972560.tif 000013
【図１３】
0005972560.tif 000014
【図１４】
0005972560.tif 000015
【図１５】
0005972560.tif 000016
【図１６】
0005972560.tif 000017
【図１７】
0005972560.tif 000018
【図１８】
0005972560.tif 000019
【図１９】
0005972560.tif 000020
【図２０】
0005972560.tif 000021
【図２１】
0005972560.tif 000022
【図２２】
0005972560.tif 000023
【図２３】
0005972560.tif 000024
【図２４】
0005972560.tif 000025
【図２５】
0005972560.tif 000026
【図２６】
0005972560.tif 000027
【図２７】
0005972560.tif 000028
【図２８】
0005972560.tif 000029
【図２９】
0005972560.tif 000030
【図３０】
0005972560.tif 000031