(57)【要約】【課題】装置の動作を停止させることなく、１枚の画像中において画像処理結果が異なることがないように画像処理を行うことができる。【解決手段】分割制御情報生成部１１は、画像処理部１５を有するマスター側チップ１０の分割制御情報を取得する。分割制御情報生成部２１は、画像処理部２５を有するスレーブ側チップ２０の分割制御情報を取得する。分割処理制御部１２１は、マスター側チップ１０の分割制御情報と、スレーブ側チップ２０の分割制御情報とに基づいて、画像処理部１５で処理を行う割合と、画像処理部２５で処理を行う割合を決定する。撮像処理部１３は、分割処理制御部１２１が決定した割合で、画像処理対象データをマスター側チップ用データとスレーブ側チップ用データとに分割する。画像処理部１５は、マスター側チップ用データの画像処理を行う。画像処理部２５は、スレーブ側チップ用データの画像処理を行う。【選択図】図１
2016010112.tif 000002
【特許請求の範囲】
【請求項１】
第１画像処理部を有する第１チップの分割制御情報を取得する第１分割制御情報取得部と、
第２画像処理部を有する第２チップの分割制御情報を取得する第２分割制御情報取得部と、
前記第１チップの分割制御情報と、前記第２チップの分割制御情報とに基づいて、前記第１画像処理部で処理を行う割合と、前記第２画像処理部で処理を行う割合を決定する分割処理制御部と、
前記分割処理制御部が決定した割合で、画像処理対象データを第１チップ用データと第２チップ用データとに分割する分割部と、
前記第１チップ用データの画像処理を行う第１画像処理部と、
前記第２チップ用データの画像処理を行う第２画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１画像処理部が画像処理を行った前記第１チップ用データと、前記第２画像処理部が画像処理を行った前記第２チップ用データとに基づいて、画像処理後の前記画像処理対象データを生成する表示処理部
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１チップの分割制御情報は、前記第１チップの温度であり、
前記第２チップの分割制御情報は、前記第２チップの温度である
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記第１チップの分割制御情報は、前記第１チップの内部バスのデータ転送量であり、
前記第２チップの分割制御情報は、前記第２チップの内部バスのデータ転送量である
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項５】
前記第１チップの分割制御情報は、前記第１チップの内部処理時間であり、
前記第２チップの分割制御情報は、前記第２チップの内部処理時間である
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
カメラの高機能化・高性能化により、１つのＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ、チップ）だけではカメラ内部での撮像処理を十分に行うことができなくなりつつある。この問題を回避するため、２つのＡＳＩＣを用いて撮像処理を分割する方法が知られている。例えば、解像度が４ｋ×２ｋであり、フレームレートが３０ｆｐｓの動画を処理する際に、処理領域を上下または左右に分割してそれぞれのＡＳＩＣで並列処理を行う。これにより、高解像度かつ高フレームレートの動画像の撮像処理を行うことができる。
【０００３】
一方、カメラの高機能化・高性能化により消費電力が増大し、消費電力増大によるカメラボディ内部の発熱も問題となっている。そのため、２つのＡＳＩＣを用いて撮像処理を行う際には、一方のＡＳＩＣに処理負荷が偏ることでボディ内部の温度が上昇しないように処理領域を分割する必要がある。
【０００４】
しかしながら、カメラのボディの形状や、基板上におけるＡＳＩＣの配置等の実装状況により、それぞれのＡＳＩＣの温度上昇の条件が異なる。各ＡＳＩＣで、分割処理を行う際に同一の画像処理条件で画像処理を行わないと処理結果が異なってしまうため、複数のＡＳＩＣ間で画像処理条件を合わせる必要がある。
【０００５】
また、温度センサで読み取った温度値が所定の閾値以上の場合には装置を停止させ、温度センサで読み取った温度値が所定の第２の閾値以上の場合、温度上昇による動作停止を防止するために、装置を低電力モードで動作させる制御方法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３３０５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、１枚の画像中において画像処理結果が異なることがないように特許文献１に記載の制御方法を用いた場合、温度値が所定の閾値以上のときには装置の動作が停止してしまうという問題がある。
【０００８】
そこで、本発明は、上記の課題を解決するためになされたものであり、複数のチップを用いて、画像領域を分割して画像処理を行う場合においても、装置の動作を停止させることなく、１枚の画像中において画像処理結果が異なることがないように画像処理を行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様によれば、第１画像処理部を有する第１チップの分割制御情報を取得する第１分割制御情報取得部と、第２画像処理部を有する第２チップの分割制御情報を取得する第２分割制御情報取得部と、前記第１チップの分割制御情報と、前記第２チップの分割制御情報とに基づいて、前記第１画像処理部で処理を行う割合と、前記第２画像処理部で処理を行う割合を決定する分割処理制御部と、前記分割処理制御部が決定した割合で、画像処理対象データを第１チップ用データと第２チップ用データとに分割する分割部と、前記第１チップ用データの画像処理を行う第１画像処理部と、前記第２チップ用データの画像処理を行う第２画像処理部と、を備えることを特徴とする画像処理装置である。
【発明の効果】
【００１０】
本発明の一態様によれば、第１分割制御情報取得部は、第１画像処理部を有する第１チップの分割制御情報を取得する。また、第２分割制御情報取得部は、第２画像処理部を有する第２チップの分割制御情報を取得する。また、分割処理制御部は、第１チップの分割制御情報と、第２チップの分割制御情報とに基づいて、第１画像処理部で処理を行う割合と、第２画像処理部で処理を行う割合を決定する。また、分割部は、分割処理制御部が決定した割合で、画像処理対象データを第１チップ用データと第２チップ用データとに分割する。また、第１画像処理部は、第１チップ用データの画像処理を行う。また、第２画像処理部は、第２チップ用データの画像処理を行う。
【００１１】
この構成により、第１チップの分割制御情報と第２チップの分割制御情報とに基づいて、第１画像処理部で処理を行う割合と、第２画像処理部で処理を行う割合を決定する。また、決定した割合で、画像処理対象データを第１チップ用データと第２チップ用データとに分割する。また、第１画像処理部は、第１チップ用データの画像処理を行う。また、第２画像処理部は、第２チップ用データの画像処理を行う。従って、複数のチップを用いて、画像領域を分割して画像処理を行う場合においても、チップの温度上昇による装置の動作を停止させることなく、１枚の画像中において画像処理結果が異なることがないように画像処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態における撮像装置の構成を示したブロック図である。
【図２】本実施形態において、マスター側チップの処理割合：スレーブ側チップの処理割合＝２：８の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。
【図３】本実施形態において、マスター側チップの処理割合：スレーブ側チップの処理割合＝５：５の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。
【図４】本実施形態において、マスター側チップの処理割合：スレーブ側チップの処理割合＝８：２の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。
【図５】本実施形態において、マスター側チップの処理割合：スレーブ側チップの処理割合＝２：８の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。
【図６】本実施形態において、マスター側チップの処理割合：スレーブ側チップの処理割合＝５：５の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。
【図７】本実施形態において、マスター側チップの処理割合：スレーブ側チップの処理割合＝８：２の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。
【図８】画像データ分割部を備えた撮像装置の構成を示した概略図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照し、本発明の一実施形態について説明する。初めに、画像処理装置の構成について説明する。図１は本実施形態における撮像装置の構成を示したブロック図である。図示する例では、撮像装置１００は、イメージャ２００と、画像処理装置１とを備えている。画像処理装置１は、マスター側チップ１０（第１チップ）と、スレーブ側チップ２０（第２チップ）と、チップ間通信バス３０とを備えている。マスター側チップ１０と、スレーブ側チップ２０とはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ、チップ）である。よって、図示する例では、画像処理装置１は２つのＡＳＩＣを備えている。イメージャ２００は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサなどであり、光を電気信号に変換して出力する。
【００１４】
マスター側チップ１０は、分割制御情報生成部１１（第１分割制御情報取得部）と、制御部１２と、撮像処理部１３（分割部）と、表示処理部１４と、画像処理部１５（第１画像処理部）と、チップ間通信制御部１６として動作することが可能である。スレーブ側チップ２０は、分割制御情報生成部２１（第２分割制御情報取得部）と、制御部２２と、撮像処理部２３と、表示処理部２４と、画像処理部２５（第２画像処理部）と、チップ間通信制御部２６として動作することが可能である。このように、本実施形態では、マスター側チップ１０とスレーブ側チップ２０との構成は同一の構成である。
【００１５】
分割制御情報生成部１１は、マスター側チップ１０の分割制御情報を取得する。また、分割制御情報生成部２１は、スレーブ側チップ２０の分割制御情報を取得する。分割制御情報は、例えば、マスター側チップ１０およびスレーブ側チップ２０の内部温度である。分割制御情報がマスター側チップ１０およびスレーブ側チップ２０の内部温度である場合、分割制御情報生成部１１は、温度センサを備え、マスター側チップ１０の内部温度を取得する。また、分割制御情報生成部２１は、温度センサを備え、スレーブ側チップ２０の内部温度を取得する。
【００１６】
制御部１２は、マスター側チップ１０の制御を行う。制御部２２は、スレーブ側チップ２０の制御を行う。また、制御部１２は、分割処理制御部１２１として動作する。分割処理制御部１２１は、マスター側チップ１０の分割制御情報と、スレーブ側チップ２０の分割制御情報とに基づいて、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。データの処理割合の決定方法は後述する。なお、本実施形態では、制御部２２も分割制御情報生成部２１として動作することは可能である。
【００１７】
撮像処理部１３は、イメージャ２００が出力する電気信号に基づいて画像データを生成する。また、撮像処理部１３は、分割処理制御部１２１が決定した、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合に基づいて、画像データをマスター側チップ用データ（第１チップ用データ）とスレーブ側チップ用データ（第２チップ用データ）とに分割する。分割方法については後述する。また、撮像処理部１３は、マスター側チップ用データを、マスター側チップ１０の画像処理部１５に対して出力する。また、撮像処理部１３は、スレーブ側チップ用データを、スレーブ側チップ２０の画像処理部２５に対して出力する。なお、本実施形態では、撮像処理部２３も撮像処理部１３と同様の処理を行うことが可能であるが、撮像処理部２３は特に処理を行わない。
【００１８】
画像処理部１５は、撮像処理部１３から入力されたマスター側チップ用データの画像処理を行う。また、画像処理部２５は、撮像処理部１３から入力されたスレーブ側チップ用データの画像処理を行う。なお、画像処理部１５と画像処理部２５とが行う画像処理の内容は同一であり、画像処理に用いるパラメータも同一である。
【００１９】
例えば、画像処理に用いる同一のパラメータを、予め画像処理部１５と画像処理部２５とに設定するようにしてもよい。また、例えば、画像処理に用いるパラメータを、画像処理部１５から画像処理部２５に対して送信することで、同一のパラメータを用いるようにしてもよい。また、例えば、画像処理に用いるパラメータを、画像処理部２５から画像処理部１５に対して送信することで、同一のパラメータを用いるようにしてもよい。また、画像処理部１５と画像処理部２５とが行う画像処理はどのような処理であってもよい。例えば、画像処理部１５と画像処理部２５とは、画像処理としてノイズ除去処理を行ってもよい。
【００２０】
表示処理部１４は、マスター側チップ１０の画像処理部１５とスレーブ側チップ２０の画像処理部２５とが処理を行ったデータを合わせて、表示処理を行う。なお、本実施形態では、表示処理部２４も表示処理部１４と同様の処理を行うことが可能であるが、表示処理部２４は特に処理を行わない。
【００２１】
チップ間通信制御部１６は、チップ間通信バス３０と接続されており、データの送受信が可能である。また、チップ間通信制御部２６は、チップ間通信バス３０と接続されており、データの送受信が可能である。チップ間通信バス３０は、データの伝送路である。よって、マスター側チップ１０とスレーブ側チップ２０とは、チップ間通信制御部１６，２６と、チップ間通信バス３０とを介して、互いにデータの送受信を行うことができる。
【００２２】
次に、分割処理制御部１２１による、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合の決定方法について説明する。本実施形態では、マスター側チップ１０は、分割制御情報生成部１１が取得したマスター側チップ１０の内部温度と、分割制御情報生成部２１が取得したスレーブ側チップ２０の内部温度とに基づいて、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。
【００２３】
以下、マスター側チップ１０の内部温度をＴｍとする。また、スレーブ側チップ２０の内部温度をＴｓとする。また、マスター側チップ１０の内部温度Ｔｍとスレーブ側チップ２０の内部温度Ｔｓとの差分を温度差分｜Ｔｍ−Ｔｓ｜とする。また、温度差分の第１の閾値をＴｔｈ１とする。また、温度差分の第２の閾値をＴｔｈ２とする。なお、Ｔｔｈ１＞Ｔｔｈ２である。
【００２４】
例えば、分割処理制御部１２１は、マスター側チップ１０の内部温度Ｔｍと、スレーブ側チップ２０の内部温度Ｔｓとの大小、および、マスター側チップ１０の内部温度Ｔｍとスレーブ側チップ２０の内部温度Ｔｓとの差分を温度差分｜Ｔｍ−Ｔｓ｜と、第１の閾値Ｔｔｈ１または第２の閾値Ｔｔｈ２との大小で、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。
【００２５】
具体的には、以下の条件１〜７に基づいて、分割処理制御部１２１は、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。
【００２６】
（条件１）Ｔｍ＞Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜＞Ｔｔｈ１のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝２：８とする。
（条件２）Ｔｍ＞Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜＞Ｔｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝４：６とする。
（条件３）Ｔｍ＞Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜≦Ｔｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
【００２７】
（条件４）Ｔｍ＜Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜＞Ｔｔｈ１のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝８：２とする。
（条件５）Ｔｍ＜Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜＞Ｔｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝６：４とする。
（条件６）Ｔｍ＜Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜≦Ｔｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
（条件７）Ｔｍ＝Ｔｓのとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
【００２８】
なお、上述した条件１〜７は一例であり、装置構成や環境に応じて条件を変更してもよい。また、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する条件は、予め決められていてもよく、任意に設定できるようにしてもよい。
【００２９】
次に、撮像処理部１３による、画像データをマスター側チップ用データとスレーブ側チップ用データとに分割する方法について説明する。図２は、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝２：８の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。図示する例では、撮像処理部１３は、画像の左側をマスター側チップ用データ３０１とし、画像の右側をスレーブ側チップ用データ３０２として分割している。また、マスター側チップ用データ３０１：スレーブ側チップ用データ３０２＝２：８である。
【００３０】
図３は、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。図示する例では、撮像処理部１３は、画像の左側をマスター側チップ用データ３０１とし、画像の右側をスレーブ側チップ用データ３０２として分割している。また、マスター側チップ用データ３０１：スレーブ側チップ用データ３０２＝５：５である。
【００３１】
図４は、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝８：２の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。図示する例では、撮像処理部１３は、画像の左側をマスター側チップ用データ３０１とし、画像の右側をスレーブ側チップ用データ３０２として分割している。また、マスター側チップ用データ３０１：スレーブ側チップ用データ３０２＝８：２である。
【００３２】
このように、撮像処理部１３は、分割処理制御部１２１が決定した処理割合に基づいて、画像データをマスター側チップ用データと、スレーブ側チップ用データとに分割する。なお、撮像処理部１３は、画像データの右側をスレーブ側チップ用データとし、画像データの左側をマスター側チップ用データとして分割するようにしてもよい。
【００３３】
また、撮像処理部１３は、画像データを左右に分割するのではなく、画像データを上下に分割するようにしてもよい。図５は、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝２：８の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。図示する例では、撮像処理部１３は、画像の上側をマスター側チップ用データ３０１とし、画像の下側をスレーブ側チップ用データ３０２として分割している。また、マスター側チップ用データ３０１：スレーブ側チップ用データ３０２＝２：８である。
【００３４】
図６は、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。図示する例では、撮像処理部１３は、画像の上側をマスター側チップ用データ３０１とし、画像の下側をスレーブ側チップ用データ３０２として分割している。また、マスター側チップ用データ３０１：スレーブ側チップ用データ３０２＝５：５である。
【００３５】
図７は、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝８：２の場合での、マスター側チップ用データと、スレーブ側チップ用データとを示した概略図である。図示する例では、撮像処理部１３は、画像の上側をマスター側チップ用データ３０１とし、画像の下側をスレーブ側チップ用データ３０２として分割している。また、マスター側チップ用データ３０１：スレーブ側チップ用データ３０２＝８：２である。
【００３６】
なお、撮像処理部１３は、画像データの上側をスレーブ側チップ用データとし、画像データの下側をマスター側チップ用データとして分割するようにしてもよい。また、分割処理制御部１２１が決定した処理割合に基づいていれば、撮像処理部１３は、画像データをどのように分割するようにしてもよい。
【００３７】
次に、画像処理装置１の動作手順について説明する。画像処理装置１が動作している間、一定期間毎に、分割制御情報生成部１１はマスター側チップ１０の内部温度を取得し、分割制御情報生成部２１はスレーブ側チップ２０の内部温度の内部を取得する。分割制御情報生成部１１が取得したマスター側チップ１０の内部温度は、制御部１２の分割処理制御部１２１に入力される。また、分割制御情報生成部２１が取得したスレーブ側チップ２０の温度は、チップ間通信制御部１６，２６とチップ間通信バス３０とを介して、制御部１２の分割処理制御部１２１に入力される。なお、一定期間毎としては、例えば、イメージャ２００が１０フレームの画像を撮像する毎や、イメージャ２００のモードを変更する毎である。
【００３８】
続いて、分割処理制御部１２１は、入力されたマスター側チップ１０の内部温度とスレーブ側チップ２０の温度とに基づいて、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。処理割合の決定方法は上述したとおりである。分割処理制御部１２１が決定した処理割合は、撮像処理部１３に入力される。
【００３９】
撮像処理部１３は、入力された処理割合に基づいて、画像データをマスター側チップ用データとスレーブ側チップ用データとに分割する。マスター側チップ用データとスレーブ側チップ用データとに分割する方法は上述したとおりである。撮像処理部１３が分割したマスター側チップ用データは、画像処理部１５に入力される。また、撮像処理部１３が分割したスレーブ側チップ用データは、チップ間通信制御部１６，２６とチップ間通信バス３０とを介して、画像処理部２５に入力される。
【００４０】
画像処理部１５は、入力されたマスター側チップ用データの画像処理を行う。また、画像処理部２５は、入力されたスレーブ側チップ用データの画像処理を行う。なお、画像処理部１５と画像処理部２５とは、同一のパラメータを用いて、同一の画像処理を行う。画像処理部１５が画像処理を行ったマスター側チップ用データは、表示処理部１４に入力される。また、画像処理部２５が画像処理を行ったスレーブ側チップ用データは、チップ間通信制御部１６，２６とチップ間通信バス３０とを介して、表示処理部１４に入力される。
【００４１】
表示処理部１４は、入力された画像処理済のマスター側チップ用データと、入力された画像処理済のスレーブ側チップ用データとを合わせて、１枚の画像データとして出力する。なお、例えば、表示処理部１４が出力する画像データは、図示せぬ表示部で表示してもよく、図示せぬ記憶部に記憶させてもよい。
【００４２】
上述したとおり、本実施形態によれば、分割制御情報生成部１１はマスター側チップ１０の内部温度を取得する。また、分割制御情報生成部２１はスレーブ側チップ２０の内部温度を取得する。また、分割処理制御部１２１は、マスター側チップ１０の内部温度とスレーブ側チップ２０の温度とに基づいて、処理割合を決定する。また、撮像処理部１３は、処理割合に基づいて、画像データをマスター側チップ用データとスレーブ側チップ用データとに分割する。また、マスター側チップ１０の画像処理部１５は、マスター側チップ用データの画像処理を行い、スレーブ側チップ２０の画像処理部２５は、スレーブ側チップ用データの画像処理を行う。
【００４３】
この構成により、マスター側チップ１０の内部温度とスレーブ側チップ２０の温度とに基づいて、マスター側チップ１０とスレーブ側チップ２０とで画像処理を分割して行うことができる。よって、２つのチップ（ＡＳＩＣ）を用いて画像処理を行う場合においても、一方のチップに処理負荷が偏ることなく、画像処理を分割して行うことができる。すなわち、マスター側チップ１０の内部温度とスレーブ側チップ２０の内部温度とが大幅に異なることを避けることができる。
【００４４】
従って、複数のチップを用いて、画像領域を分割して画像処理を行う場合においても、装置の動作を停止させることなく、１枚の画像中において画像処理結果が異なることがないように画像処理を行うことができる。
【００４５】
なお、上述した実施形態では、マスター側チップ１０の内部温度とスレーブ側チップ２０の内部温度を取得するタイミングを一定期間毎としているが、これに限らない。例えば、マスター側チップ１０とスレーブ側チップ２０とのそれぞれにおいて、前回の温度情報を保持しておき、今回取得した内部温度が前回取得した内部温度に比べて急激に上昇していたら、内部温度を取得する周期を短くする等、可変にしてもよい。
【００４６】
また、図１に示した画像処理装置１の構成では、マスター側チップ１０とスレーブ側チップ２０とは同じ構成であるが、これに限らない。例えば、回路規模の削減のため、必要な機能のみを備えるように絞ってもよい。例えば、スレーブ側チップ２０の分割処理制御部２２１や、撮像処理部２３や、表示処理部２４を削減してもよい。
【００４７】
また、分割制御情報生成部１１，２１が取得する分割制御情報は、マスター側チップ１０の内部温度やスレーブ側チップ２０の内部温度に限らない。例えば、マスター側チップ１０の内部バスのデータ転送量やスレーブ側チップ２０の内部バスのデータ転送量であってもよい。以下、分割制御情報生成部１１が取得したマスター側チップ１０の内部バスのデータ転送量と、分割制御情報生成部２１が取得したスレーブ側チップ２０の内部バスのデータ転送量とに基づいて、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する方法について説明する。
【００４８】
以下、マスター側チップ１０の総ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）転送回数をＤｍとする。また、スレーブ側チップ２０の総ＤＭＡ転送回数をＤｓとする。また、マスター側チップ１０の総ＤＭＡ転送回数Ｄｍとスレーブ側チップ２０の総ＤＭＡ転送回数Ｄｓとの差分を総ＤＭＡ転送回数差分｜Ｄｍ−Ｄｓ｜とする。また、総ＤＭＡ転送回数差分の第１の閾値をＤｔｈ１とする。また、総ＤＭＡ転送回数差分の第２の閾値をＤｔｈ２とする。なお、Ｄｔｈ１＞Ｄｔｈ２である。
【００４９】
例えば、分割処理制御部１２１は、マスター側チップ１０の総ＤＭＡ転送回数Ｄｍと、スレーブ側チップ２０の総ＤＭＡ転送回数Ｄｓとの大小、および、マスター側チップ１０の総ＤＭＡ転送回数Ｄｍとスレーブ側チップ２０の総ＤＭＡ転送回数Ｄｓとの差分を総ＤＭＡ転送回数差分｜Ｄｍ−Ｄｓ｜と、第１の閾値Ｄｔｈ１または第２の閾値Ｄｔｈ２との大小で、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。
【００５０】
具体的には、以下の条件１〜７に基づいて、分割処理制御部１２１は、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。
【００５１】
（条件１１）Ｄｍ＞Ｄｓ  ａｎｄ  ｜Ｄｍ−Ｄｓ｜＞Ｄｔｈ１のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝２：８とする。
（条件１２）Ｄｍ＞Ｄｓ  ａｎｄ  ｜Ｄｍ−Ｄｓ｜＞Ｄｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝４：６とする。
（条件１３）Ｄｍ＞Ｄｓ  ａｎｄ  ｜Ｄｍ−Ｄｓ｜≦Ｄｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
【００５２】
（条件１４）Ｄｍ＜Ｄｓ  ａｎｄ  ｜Ｄｍ−Ｄｓ｜＞Ｄｔｈ１のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝８：２とする。
（条件１５）Ｄｍ＜Ｄｓ  ａｎｄ  ｜Ｄｍ−Ｄｓ｜＞Ｄｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝６：４とする。
（条件１６）Ｄｍ＜Ｄｓ  ａｎｄ  ｜Ｄｍ−Ｄｓ｜≦Ｄｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
（条件１７）Ｄｍ＝Ｄｓのとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
【００５３】
なお、上述した条件１１〜１７は一例であり、装置構成や環境に応じて条件を変更してもよい。また、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する条件は、予め決められていてもよく、任意に設定できるようにしてもよい。
【００５４】
また、分割制御情報生成部１１，２１が取得する分割制御情報は、マスター側チップ１０の内部温度やスレーブ側チップ２０の内部温度に限らない。例えば、撮像装置１００の動作モードであってもよい。以下、分割制御情報生成部１１（または分割制御情報生成部２１）が取得した撮像装置１００の動作モードに基づいて、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する方法について説明する。
【００５５】
例えば、分割処理制御部１２１は、撮像装置１００の動作モードが「静止画撮影モード」である場合には、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝１０：０とする。すなわち、分割処理を行わず、マスター側チップ１０のみで画像処理を行う。
【００５６】
また、例えば、分割処理制御部１２１は、撮像装置１００の動作モードが「動画撮影モード」である場合には、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
【００５７】
また、例えば、分割処理制御部１２１は、撮像装置１００の動作モードが「静止画＋動画撮影モード（同時撮影モード）」である場合には、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝３：７とする。
【００５８】
なお、上述した例は一例であり、装置構成や環境に応じて条件を変更してもよい。また、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する条件は、予め決められていてもよく、任意に設定できるようにしてもよい。
【００５９】
また、分割制御情報生成部１１，２１が取得する分割制御情報は、マスター側チップ１０の内部温度やスレーブ側チップ２０の内部温度に限らない。例えば、マスター側チップ１０の内部処理時間やスレーブ側チップ２０の内部処理時間であってもよい。以下、分割制御情報生成部１１が取得したマスター側チップ１０の内部処理時間と、分割制御情報生成部２１が取得したスレーブ側チップ２０の内部処理時間とに基づいて、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する方法について説明する。
【００６０】
以下、マスター側チップ１０の処理サイクル数をＣｍとする。また、スレーブ側チップ２０の処理サイクル数をＣｓとする。また、マスター側チップ１０の処理サイクル数Ｃｍとスレーブ側チップ２０の処理サイクル数Ｃｓとの差分を処理サイクル数差分｜Ｃｍ−Ｃｓ｜とする。また、処理サイクル数差分の第１の閾値をＣｔｈ１とする。また、処理サイクル数差分の第２の閾値をＣｔｈ２とする。なお、Ｃｔｈ１＞Ｃｔｈ２である。
【００６１】
例えば、分割処理制御部１２１は、マスター側チップ１０の処理サイクル数Ｃｍと、スレーブ側チップ２０の処理サイクル数Ｃｓとの大小、および、マスター側チップ１０の処理サイクル数Ｃｍとスレーブ側チップ２０の処理サイクル数Ｃｓとの差分を処理サイクル数差分｜Ｃｍ−Ｃｓ｜と、第１の閾値Ｃｔｈ１または第２の閾値Ｃｔｈ２との大小で、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。
【００６２】
具体的には、以下の条件２１〜２７に基づいて、分割処理制御部１２１は、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する。
【００６３】
（条件２１）Ｃｍ＞Ｃｓ  ａｎｄ  ｜Ｃｍ−Ｃｓ｜＞Ｃｔｈ１のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝２：８とする。
（条件２２）Ｃｍ＞Ｃｓ  ａｎｄ  ｜Ｃｍ−Ｃｓ｜＞Ｃｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝４：６とする。
（条件２３）Ｃｍ＞Ｃｓ  ａｎｄ  ｜Ｃｍ−Ｃｓ｜≦Ｃｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
【００６４】
（条件２４）Ｃｍ＜Ｃｓ  ａｎｄ  ｜Ｃｍ−Ｃｓ｜＞Ｃｔｈ１のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝８：２とする。
（条件２５）Ｃｍ＜Ｃｓ  ａｎｄ  ｜Ｃｍ−Ｃｓ｜＞Ｃｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝６：４とする。
（条件２６）Ｃｍ＜Ｃｓ  ａｎｄ  ｜Ｃｍ−Ｃｓ｜≦Ｃｔｈ２のとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
（条件２７）Ｃｍ＝Ｃｓのとき、マスター側チップ１０の処理割合：スレーブ側チップ２０の処理割合＝５：５とする。
【００６５】
なお、上述した条件２１〜２７は一例であり、装置構成や環境に応じて条件を変更してもよい。また、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する条件は、予め決められていてもよく、任意に設定できるようにしてもよい。
【００６６】
また、マスター側チップ１０の動作負荷と、スレーブ側チップ２０の動作負荷との割合を変更する方法は、処理割合の変更に限らない。例えば、マスター側チップ１０の動作周波数と、スレーブ側チップ２０の動作周波数とを変更することで、マスター側チップ１０の動作負荷と、スレーブ側チップ２０の動作負荷とを変更するようにしてもよい。以下、マスター側チップ１０の動作周波数と、スレーブ側チップ２０の動作周波数とを変更することで、マスター側チップ１０の動作負荷と、スレーブ側チップ２０の動作負荷とを変更する方法について説明する。
【００６７】
以下、マスター側チップ１０の内部温度をＴｍとする。また、スレーブ側チップ２０の内部温度をＴｓとする。また、マスター側チップ１０の内部温度Ｔｍとスレーブ側チップ２０の内部温度Ｔｓとの差分を温度差分｜Ｔｍ−Ｔｓ｜とする。また、温度差分の第１の閾値をＴｔｈ１とする。また、温度差分の第２の閾値をＴｔｈ２とする。なお、Ｔｔｈ１＞Ｔｔｈ２である。
【００６８】
例えば、分割処理制御部１２１は、マスター側チップ１０の内部温度Ｔｍと、スレーブ側チップ２０の内部温度Ｔｓとの大小、および、マスター側チップ１０の内部温度Ｔｍとスレーブ側チップ２０の内部温度Ｔｓとの差分を温度差分｜Ｔｍ−Ｔｓ｜と、第１の閾値Ｔｔｈ１または第２の閾値Ｔｔｈ２との大小で、マスター側チップ１０の動作周波数とスレーブ側チップ２０の動作周波数とを決定する。
【００６９】
具体的には、以下の条件３１〜３７に基づいて、分割処理制御部１２１は、マスター側チップ１０の動作周波数とスレーブ側チップ２０の動作周波数とを決定する。
【００７０】
（条件３１）Ｔｍ＞Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜＞Ｔｔｈ１のとき、マスター側チップ１０の動作周波数：スレーブ側チップ２０の動作周波数＝１６２ＭＨｚ：２４０ＭＨｚとする。
（条件３２）Ｔｍ＞Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜＞Ｔｔｈ２のとき、マスター側チップ１０の動作周波数：スレーブ側チップ２０の動作周波数＝１９２ＭＨｚ：２１６ＭＨｚとする。
（条件３３）Ｔｍ＞Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜≦Ｔｔｈ２のとき、マスター側チップ１０の動作周波数：スレーブ側チップ２０の動作周波数＝１９２ＭＨｚ：１９２ＭＨｚとする。
【００７１】
（条件３４）Ｔｍ＜Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜＞Ｔｔｈ１のとき、マスター側チップ１０の動作周波数：スレーブ側チップ２０の動作周波数＝２４０ＭＨｚ：１６２ＭＨｚとする。
（条件３５）Ｔｍ＜Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜＞Ｔｔｈ２のとき、マスター側チップ１０の動作周波数：スレーブ側チップ２０の動作周波数＝２１６ＭＨｚ：１９２ＭＨｚとする。
（条件３６）Ｔｍ＜Ｔｓ  ａｎｄ  ｜Ｔｍ−Ｔｓ｜≦Ｔｔｈ２のとき、マスター側チップ１０の動作周波数：スレーブ側チップ２０の動作周波数＝１９２ＭＨｚ：１９２ＭＨｚとする。
（条件３７）Ｔｍ＝Ｔｓのとき、マスター側チップ１０の動作周波数：スレーブ側チップ２０の動作周波数＝１９２ＭＨｚ：１９２ＭＨｚとする。
【００７２】
なお、上述した条件３１〜３７は一例であり、装置構成や環境に応じて条件を変更してもよい。また、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合を決定する条件は、予め決められていてもよく、任意に設定できるようにしてもよい。
【００７３】
また、上述した実施形態では、分割制御情報生成部１１は温度センサを備え、マスター側チップ１０の内部温度を取得し、分割制御情報生成部２１は温度センサを備え、スレーブ側チップ２０の内部温度を取得しているが、これに限らない。例えば、マスター側チップ１０の近傍と、スレーブ側チップ２０の近傍とにそれぞれ異なるＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）が配置されており、各ＤＲＡＭが温度センサを備えているとする。この場合には、分割制御情報生成部１１は、マスター側チップ１０の近傍に配置されているＤＲＡＭから温度を取得し、取得した温度をマスター側チップ１０の内部温度としてもよい。また、分割制御情報生成部２１は、スレーブ側チップ２０の近傍に配置されているＤＲＡＭから温度を取得し、取得した温度をスレーブ側チップ２０の内部温度としてもよい。
【００７４】
また、上述した実施形態では、分割制御情報生成部１１は温度センサを備え、マスター側チップ１０の内部温度を取得し、分割制御情報生成部２１は温度センサを備え、スレーブ側チップ２０の内部温度を取得しているが、これに限らない。例えば、イメージャ２００がマスター側チップ１０の近傍に配置されており、イメージャ２００が温度センサを備えているとする。この場合には、イメージャ２００の近傍に配置されているマスター側チップ１０の分割制御情報生成部１１は、イメージャ２００から温度を取得し、取得した温度をマスター側チップ１０の内部温度としてもよい。
【００７５】
また、例えば、イメージャ２００がスレーブ側チップ２０の近傍に配置されており、イメージャ２００が温度センサを備えているとする。この場合には、イメージャ２００の近傍に配置されているスレーブ側チップ２０の分割制御情報生成部２１は、イメージャ２００から温度を取得し、取得した温度をスレーブ側チップ２０の内部温度としてもよい。
【００７６】
また、マスター側チップ１０の動作負荷と、スレーブ側チップ２０の動作負荷との割合を変更する方法は、処理割合の変更に限らない。例えば、マスター側チップ１０で画像処理を行う機能単位と、スレーブ側チップ２０で画像処理を行う機能単位とを変更することで、マスター側チップ１０の動作負荷と、スレーブ側チップ２０の動作負荷とを変更するようにしてもよい。
【００７７】
また、上述した実施形態では、分割制御情報生成部１１は、制御部１２に直接接続されており、分割制御情報生成部１１の出力は制御部１２に直接入力されているが、これに限らない。例えば、分割制御情報生成部１１は、データバスを介して制御部１２に接続されていてもよく、分割制御情報生成部１１の出力は、データバスを介して制御部１２に入力されるようにしてもよい。
【００７８】
また、上述した実施形態では、イメージャ２００がマスター側チップ１０にのみ接続されていたが、これに限らない。例えば、イメージャ２００の出力を分割する画像データ分割部を備え、イメージャ２００の出力を分割し、マスター側チップ１０とスレーブ側チップ２０とに入力するようにしてもよい。
【００７９】
図８は、画像データ分割部を備えた撮像装置４００の構成を示した概略図である。図示する例では、撮像装置４００は、イメージャ２００と、画像処理装置２とを備えている。画像処理装置２は、画像データ分割部５００（分割部）と、マスター側チップ１０と、スレーブ側チップ２０と、チップ間通信バス３０とを備えている。マスター側チップ１０と、スレーブ側チップ２０との構成は、図１に示した構成と同様である。
【００８０】
画像データ分割部５００は、分割処理制御部１２１が決定した、マスター側チップ１０とスレーブ側チップ２０とでのデータの処理割合に基づいて、イメージャ２００が出力する電気信号をマスター側チップ用電気信号とスレーブ側チップ用電気信号とに分割する。なお、マスター側チップ用電気信号とスレーブ側チップ用電気信号とに分割する方法は、図２〜図７に示した撮像処理部１３によるマスター側チップ用データとスレーブ側チップ用データとの分割方法と同様である。
【００８１】
また、画像データ分割部５００は、マスター側チップ用電気信号を、マスター側チップ１０の撮像処理部１３に対して出力する。また、画像データ分割部５００は、スレーブ側チップ用電気信号を、スレーブ側チップ２０の撮像処理部２３に対して出力する。
【００８２】
撮像処理部１３は、マスター側チップ用電気信号に基づいてマスター側チップ用データを生成する。また、撮像処理部２３は、スレーブ側チップ用電気信号に基づいてスレーブ側チップ用データを生成する。以降の処理は、上述した処理と同様である。
【００８３】
また、上述した実施形態では、画像処理装置１は、マスター側チップ１０とスレーブ側チップ２０との２つのＡＳＩＣを備えているが、これに限らない。例えば、画像処理装置１は、３つ以上のＡＳＩＣを備えるようにしてもよい。
【００８４】
なお、上述した画像処理装置１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００８５】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８６】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８７】
１，２  画像処理装置
１０  マスター側チップ
１１，２１  分割制御情報生成部
１２，２２  制御部
１３，２３  撮像処理部
１４，２４  表示処理部
１５，２５  画像処理部
１６，２６  チップ間通信制御部
２０  スレーブ側チップ
３０  チップ間通信バス
１００，４００  撮像装置
１２１，２２１  分割処理制御部
２００  イメージャ
３０１  マスター側チップ用データ
３０２  スレーブ側チップ用データ
４００  撮像装置
５００  画像データ分割部
【図１】
2016010112.tif 000003
【図２】
2016010112.tif 000004
【図３】
2016010112.tif 000005
【図４】
2016010112.tif 000006
【図５】
2016010112.tif 000007
【図６】
2016010112.tif 000008
【図７】
2016010112.tif 000009
【図８】
2016010112.tif 000010