(57)【要約】  新規のカラーフィルタ配列が提案されているが、画像処理を行う場合、カラーフィルタ配列に応じて最適な処理を行うことが、より良い画質得るためには必要である。新規カラーフィルタ配列で得られたデータに対しても対応することが可能であり、受信側装置の性能差が画質に与える影響を低減し、受信側装置の性能を十分に活かすことが可能な画像処理システムを提供する。画像処理システム１００は、送信側装置１０１と、受信側装置１０２とを備える。送信側装置１０１は、ＲＡＷデータを前処理して中間データを生成し、この中間データを同時化処理して３面の色データを生成し、この３面の色データと中間データの対応画素位置を特定する配置情報とを出力する。受信側装置１０２は、送信側装置１０１からの３面の色データおよび配置情報によって中間データを復元し、復元した中間データから３面の色データを生成する。
2013187127.tif 000002
【特許請求の範囲】
【請求項１】
送信側装置と、ＲＡＷ現像対応の第１の受信側装置およびＲＡＷ現像非対応の第２の受信側装置のうちの少なくとも一方の受信側装置とで構成される画像処理システムであって、  前記送信側装置は、
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から前記カラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、
前記中間データを同時化処理し、第１の３面の色データを生成する第１の同時化処理手段と、
前記第１の３面の色データに各色データのうちの前記中間データの画素位置を特定するための配置情報を付与して出力する出力手段と、を備え、
前記第１の受信側装置は、
前記第１の３面の色データと前記配置情報とが入力される第１の入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記中間データを抽出する中間データ抽出手段と、
抽出した前記中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第１の後処理手段と、を備え、
前記第２の受信側装置は、
前記第１の３面の色データが入力される第２の入力手段と、
入力された前記第１の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第２の後処理手段と、を備える画像処理システム。
【請求項２】
送信側装置と、ＲＡＷ現像対応の第１の受信側装置およびＲＡＷ現像非対応の第２の受信側装置のうちの少なくとも一方の受信側装置とで構成される画像処理システムであって、
前記送信側装置は、
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から前記カラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータに対して前処理を行うことにより同時化処理前の第１の中間データを生成する第１の前処理手段と、
前記第１の中間データから前記ＲＡＷデータへの復元のための復元情報を取得する復元情報取得手段と、
前記第１の中間データを同時化処理し、第１の３面の色データを生成する第１の同時化処理手段と、
前記第１の３面の色データに各色データのうちの前記第１の中間データの画素位置を特定するための配置情報および前記復元情報を付与して出力する出力手段と、を備え、
前記第１の受信側装置は、
前記第１の３面の色データと前記配置情報および前記復元情報とが入力される第１の入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記第１の中間データを抽出する中間データ抽出手段と、
前記復元情報に基づいて抽出された前記第１の中間データから前記ＲＡＷデータを復元する復元処理手段と、
前記復元処理手段により復元された前記ＲＡＷデータに前処理を行うことにより同時化処理前の第２の中間データを生成する第２の前処理手段と、
前記第２の中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第１の後処理手段と、を備え、
前記２の受信側装置は、
前記第１の３面の色データが入力される第２の入力手段と、
入力された前記第１の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第２の後処理手段と、を備える画像処理システム。
【請求項３】
請求項１に記載の画像処理システムにおいて、
前記送信側装置の出力手段は、
前記第１の３面の色データに前記配置情報および前記中間データを付与して出力し、
前記第１の受信側装置の入力手段には、前記第１の３面の色データと前記配置情報と前記中間データとが入力され、
前記送信側装置から送られてきた前記中間データ、または前記中間データ抽出手段から得られる中間データを選択する中間データ選択手段を備え、
前記第２の同時化処理手段は前記中間データ選択手段で選択された中間データを同時化処理し、第２の３面の前記色データが生成される画像処理システム。
【請求項４】
請求項２に記載の画像処理システムにおいて、
前記送信側装置の出力手段は、前記第１の３面の色データに前記配置情報および前記ＲＡＷデータを付与して出力し、
前記第１の受信側装置の入力手段は、前記第１の３面の色データと前記配置情報と前記ＲＡＷデータとを入力し、
前記送信側装置から送られてきた前記ＲＡＷデータ、または前記復元処理手段から得られるＲＡＷデータを選択するＲＡＷデータ選択手段を備え、
前記第２の前処理手段は、前記ＲＡＷデータ選択手段で選択されたＲＡＷデータにより第２の中間データを生成する画像処理システム。
【請求項５】
送信側装置と、ＲＡＷ現像対応の第１の受信側装置およびＲＡＷ現像非対応の第２の受信側装置のうちの少なくとも一方の受信側装置とで構成される画像処理システムであって、
前記送信側装置は、
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から前記カラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータに対して前処理を行うことにより同時化処理前の第１の中間データを生成する第１の前処理手段と、
前記第１の中間データを同時化処理して３面の色データを生成し、前記３面の色データのうちの中間データに代えて前記ＲＡＷデータを配置して、第１の３面の色データを生成する第１の同時化処理手段と、
前記第１の３面の色データに各色データのうちの前記ＲＡＷデータの画素位置を特定するための配置情報を付与して出力する出力手段と、を備え、
前記第１の受信側装置は、
前記第１の３面の色データと前記配置情報とが入力される入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記ＲＡＷデータを抽出するＲＡＷデータ抽出手段と、
前記ＲＡＷデータ抽出手段により抽出した前記ＲＡＷデータを前処理し第２の中間データを生成する第２の前処理手段と、
前記第２の中間データを同時化処理し第２の３面の色データを生成する第２の同時化処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第１の後処理手段と、を備え、
前記第２の受信側装置は、
前記第１の３面の色データが入力される第２の入力手段と、
入力された前記第１の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第２の後処理手段と、を備える画像処理システム。
【請求項６】
送信側装置と、ＲＡＷ現像対応の第１の受信側装置およびＲＡＷ現像非対応の第２の受信側装置のうちの少なくとも一方の受信側装置とで構成される画像処理システムであって、
前記送信側装置は、
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から前記カラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータに対して前処理を行うことにより同時化処理前の第１の中間データを生成する第１の前処理手段と、
前記ＲＡＷデータから前記第１の中間データへの復元のための復元情報を取得する復元情報取得手段と、
前記第１の中間データを同時化処理して３面の色データを生成し、前記３面の色データのうちの中間データに代えて前記ＲＡＷデータを配置して、第１の３面の色データを生成する第１の同時化処理手段と、
前記第１の３面の色データに各色データのうちの前記ＲＡＷデータの画素位置を特定するための配置情報および前記復元情報を付与して出力する出力手段と、を備え、
前記第１の受信側装置は、
前記第１の３面の色データと前記配置情報および前記復元情報とが入力される第１の入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記ＲＡＷデータを抽出するＲＡＷデータ抽出手段と、
前記復元情報に基づいて前記ＲＡＷデータ抽出手段により抽出された前記ＲＡＷデータを前処理し第２の中間データを生成する第１の復元処理手段と、
前記第２の中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第１の後処理手段と、を備え、
前記第２の受信側装置は、
前記第１の３面の色データと前記配置情報および前記復元情報とが入力される入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記ＲＡＷデータを抽出するＲＡＷデータ抽出手段と、
前記復元情報に基づいて前記ＲＡＷデータ抽出手段により抽出された前記ＲＡＷデータを前処理し第３の中間データを生成する第２の復元処理手段と、
前記第３の中間データで、前記第１の３面の色データにおけるＲＡＷ画素を置き換える補正を行い第３の３面の色データを生成するＲＡＷ画素補正処理手段と、
前記第３の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第２の後処理手段と、を備える画像処理システム。
【請求項７】
請求項５に記載の画像処理システムにおいて、
前記送信側装置の出力手段は、
前記第１の３面の色データに前記配置情報および前記ＲＡＷデータを付与して出力する出力手段を備え、
前記第１の受信側装置の入力手段は、
前記第１の３面の色データと前記配置情報と前記ＲＡＷデータとを入力し、
前記ＲＡＷデータ、または前記ＲＡＷデータ抽出手段から得られるＲＡＷデータを選択するＲＡＷデータ選択手段を備える画像処理システム。
【請求項８】
請求項６に記載の画像処理システムにおいて、
前記送信側装置の出力手段は、
前記第１の３面の色データに前記配置情報と前記復元情報と前記第１の中間データとを付与して出力する出力手段を備え、
前記第１の受信側装置の入力手段は、
前記第１の３面の色データと前記配置情報と前記復元情報と前記第１の中間データとが入力され、
前記第１の中間データ、または前記第２の中間データを選択する中間データ選択手段を備える画像処理システム。
【請求項９】
請求項２または請求項６に記載の画像処理システムにおいて、
前記送信側装置の前記復元情報取得手段が取得する前記復元情報は、前記ＲＡＷデータと前記第１の中間データの差分データ、または前記前処理の処理内容である画像処理システム。
【請求項１０】
請求項１から９のいずれか１項に記載の画像処理システムにおいて、
前記第１の受信側装置が、前記第１の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第３の後処理手段を備え、
前記第１の後処理手段から得られる記録用の前記画像データ若しくは表示用の前記画像データ、または前記第３の後処理手段から得られる記録用の前記画像データ若しくは表示用の前記画像データを選択する選択手段と、を備える画像処理システム。
【請求項１１】
請求項３に記載の画像処理システムにおいて、
前記送信側装置は、前記第１の３面の色データおよび前記中間データのうち少なくとも１つのデータを選択する選択手段を備え、
前記出力手段は、前記選択手段により選択された少なくとも１つのデータに前記配置情報を付与して出力する、画像処理システム。
【請求項１２】
請求項４に記載の画像処理システムにおいて、
前記送信側装置は、前記第１の３面の色データおよび前記ＲＡＷデータのうち少なくとも１つのデータを選択する選択手段を備え、
前記出力手段は、前記選択手段により選択された少なくとも１つのデータに前記配置情報および前記復元情報を付与して出力する、画像処理システム。
【請求項１３】
請求項８に記載の画像処理システムにおいて、
前記送信側装置は、前記第１の３面の色データおよび前記ＲＡＷデータのうち少なくとも１つのデータを選択し、
前記出力手段は、前記中間データ選択手段により選択された少なくとも１つのデータに前記配置情報を付与して出力する、画像処理システム。
【請求項１４】
請求項９に記載の画像処理システムにおいて、
前記送信側装置は、前記第１の３面の色データおよび前記第１の中間データのうち少なくとも１つのデータを選択する選択手段を備え、
前記出力手段は、前記選択手段により選択された少なくとも１つのデータに前記配置情報および前記復元情報を付与して出力する、画像処理システム。
【請求項１５】
請求項６に記載の画像処理システムにおいて、
前記第１の受信側装置は、前記第１の復元処理手段から得られる前記第２の中間データを使用し、前記第１の３面の色データにおける前記ＲＡＷ画素を置き換える補正を行い第４の３面の色データを生成するＲＡＷ画素補正処理手段と、
前記第４の３面の色データに対して第３の後処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第３の後処理手段と、
前記第１の後処理手段から得られる記録用の画像データまたは表示用の画像データ、または前記第３の後処理手段から得られる記録用の画像データまたは表示用の画像データを選択する選択手段を、備える画像処理システム。
【請求項１６】
撮像素子により得られたデータを画像表示または記録可能なデータに処理するためのデータおよび情報を出力する送信側装置であって、
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から前記カラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、
前記中間データを同時化処理し、３面の色データを生成する同時化処理手段と、
前記３面の色データに各色データのうちの前記中間データの画素位置を特定するための配置情報を付与して出力する出力手段と、を備える送信側装置。
【請求項１７】
撮像素子により得られたデータを画像表示または記録可能なデータに処理するためのデータおよび情報を出力する送信側装置であって、
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から前記カラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、
前記中間データから前記ＲＡＷデータへの復元のための復元情報を取得する復元情報取得手段と、
前記中間データを同時化処理し、３面の色データを生成する同時化処理手段と、
前記３面の色データに各色データのうちの前記中間データの画素位置を特定するための配置情報および前記復元情報を付与して出力する出力手段と、を備える送信側装置。
【請求項１８】
撮像素子により得られたデータを画像表示または記録可能なデータに処理するためのデータおよび情報を出力する送信側装置であって、
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から前記カラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、
前記中間データを同時化処理して３面の色データを生成し、前記３面の色データのうちの中間データに代えて前記ＲＡＷデータを配置して、３面の色データを生成する同時化処理手段と、
前記３面の色データに各色データのうちの前記ＲＡＷデータの画素位置を特定するための配置情報を付与して出力する出力手段と、を備える送信側装置。
【請求項１９】
撮像素子により得られたデータを画像表示または記録可能なデータに処理するためのデータおよび情報を出力する送信側装置であって、
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から前記カラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、
前記ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、
前記ＲＡＷデータから前記中間データへの復元のための復元情報を取得する復元情報取得手段と、
前記中間データを同時化処理して３面の色データを生成し、前記３面の色データのうちの中間データに代えて前記ＲＡＷデータを配置して、３面の色データを生成する同時化処理手段と、
前記３面の色データに各色データのうちの前記ＲＡＷデータの画素位置を特定するための配置情報および前記復元情報を付与して出力する出力手段と、を備える送信側装置。
【請求項２０】
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得される前記カラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の中間データが生成され、前記中間データが同時化処理されることにより生成される第１の３面の色データ、および前記第１の３面の色データに付与された各色データのうちの前記中間データの画素位置を特定するための配置情報を受信する受信側装置であって、
前記第１の３面の色データと前記配置情報とが入力される第１の入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記中間データを抽出する中間データ抽出手段と、
抽出した前記中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える受信側装置。
【請求項２１】
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得される前記カラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の第１の中間データが生成され、前記第１の中間データが同時化処理されることにより生成される第１の３面の色データ、前記第１の３面の色データに付与された各色データのうちの前記第１の中間データの画素位置を特定するための配置情報、および前記第１の３面の色データに付与された前記第１の中間データから前記ＲＡＷデータへの復元のための復元情報を受信する受信側装置であって
前記第１の３面の色データと前記配置情報および前記復元情報とが入力される第１の入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記第１の中間データを抽出する中間データ抽出手段と、
前記復元情報に基づいて抽出された前記第１の中間データから前記ＲＡＷデータを復元する復元処理手段と、
前記復元処理手段により復元された前記ＲＡＷデータに前処理を行うことにより同時化処理前の第２の中間データを生成する第２の前処理手段と、
前記第２の中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える受信側装置。
【請求項２２】
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得される前記カラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の第１の中間データが生成され、前記第１の中間データが同時化処理されることにより３面の色データが生成され、前記３面の色データのうちの中間データに代えて前記ＲＡＷデータが配置されることにより得られる第１の３面の色データ、および前記第１の３面の色データに付与された各色データのうちの前記ＲＡＷデータの画素位置を特定するための配置情報を受信する受信側装置であって、
前記第１の３面の色データと前記配置情報とが入力される入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記ＲＡＷデータを抽出するＲＡＷデータ抽出手段と、
前記ＲＡＷデータ抽出手段により抽出した前記ＲＡＷデータを前処理し第２の中間データを生成する第２の前処理手段と、
前記第２の中間データを同時化処理し第２の３面の色データを生成する第２の同時化処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える受信側装置。
【請求項２３】
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得される前記カラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の第１の中間データが生成され、前記第１の中間データが同時化処理されることにより３面の色データが生成され、前記３面の色データのうちの中間データに代えて前記ＲＡＷデータが配置されることにより得られる第１の３面の色データ、前記第１の３面の色データに付与された各色データのうちの前記ＲＡＷデータの画素位置を特定するための配置情報、および前記第１の３面の色データに付与された前記ＲＡＷデータから前記第１の中間データへの復元のための復元情報を受信する受信側装置であって、
前記第１の３面の色データと前記配置情報および前記復元情報とが入力される第１の入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記ＲＡＷデータを抽出するＲＡＷデータ抽出手段と、
前記復元情報に基づいて前記ＲＡＷデータ抽出手段により抽出された前記ＲＡＷデータを前処理し第２の中間データを生成する第１の復元処理手段と、
前記第２の中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える受信側装置。
【請求項２４】
２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得される前記カラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の第１の中間データが生成され、前記第１の中間データが同時化処理されることにより３面の色データが生成され、前記３面の色データのうちの中間データに代えて前記ＲＡＷデータが配置されることにより得られる第１の３面の色データ、前記第１の３面の色データに付与された各色データのうちの前記ＲＡＷデータの画素位置を特定するための配置情報、および前記第１の３面の色データに付与された前記ＲＡＷデータから前記第１の中間データへの復元のための復元情報を受信する受信側装置であって、
前記第１の３面の色データと前記配置情報および前記復元情報とが入力される入力手段と、
前記配置情報に基づいて前記第１の３面の色データから前記ＲＡＷデータを抽出するＲＡＷデータ抽出手段と、
前記復元情報に基づいて前記ＲＡＷデータ抽出手段により抽出された前記ＲＡＷデータを前処理し第２の中間データを生成する復元処理手段と、
前記第２の中間データで、前記第１の３面の色データにおけるＲＡＷ画素を置き換える補正を行い第２の３面の色データを生成するＲＡＷ画素補正処理手段と、
前記第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える受信側装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、送信側装置および受信側装置に係り、特に様々な形式の画像データ（ＲＡＷデータ等）の画像処理を行う技術に関する。
【背景技術】
【０００２】
デジタルカメラや撮影装置を有する携帯端末等で被写体を撮影し画像処理を行う場合、撮像素子が捉えた光量をＡ／Ｄ変換したデジタル画像データ（ＲＡＷデータ）をそのまま画像処理に使用する方法と、ＲＡＷデータに何かしらの加工（例えばＲＡＷデータからＲＧＢデータに変換する加工）を加えて使用する方法が考えられる。【０００３】
例えば特許文献１は、選択される表示モードに応じてＲＧＢデータかＲＡＷデータかを切り替えて画像表示する画像読み取り表示装置を開示する。この特許文献１の装置において、ＲＡＷデータを補正してＲＧＢデータを生成する際、ＲＡＷデータ（撮像画素値）に対応の色画素データがある場合にはそのＲＡＷデータの画素値をＲＧＢデータとして使用し、ＲＡＷデータに対応の色画素データがある場合には周辺のＲＡＷデータの画素値からＲＧＢデータが求められる。【０００４】
特許文献２は、撮像条件情報が添付された生画像ファイル（ＲＡＷデータ）を取得して撮像機種を特定し、特定した撮像機種に基づいて画像データのホワイトバランスを調整するホワイトバランス処理方法を開示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１４７８７５号公報
【特許文献２】特開２０１０−２２６３６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、新規のカラーフィルタ配列が提案されているが、画像処理を行う場合、カラーフィルタ配列に応じた最適な処理を行うことが、より良い画質を得るためには必要である。【０００７】
また、新規配列のカラーフィルタを介して得られるデータを処理するためには、その新規カラーフィルタ配列に対応した信号処理が必要とされる場合もある。この場合、新規カラーフィルタ配列に対応した信号処理を行うことができる現像ソフトや受信側機器類を用意する必要があるが、そのようなソフトの実装や機器類の準備には相応の負荷が必要である。【０００８】
また、従来のベイヤ配列よりも新規カラーフィルタ配列は複雑になる傾向にあるが、それに合わせて上記した新規カラーフィルタ配列に対応した信号処理も複雑化しやすい。この場合、信号処理を行う装置の性能差によって画質が変わってしまい、信号処理を行う装置によって画質が異なってしまう。【０００９】
また、データ受信側ではＲＡＷ現像等を行うことができるにも関わらず、送信側で例えばＲＧＢデータ（ＪＰＥＧ、ＴＩＦＦなど）等を転送した場合には、データ受信側の性能を使用することができない。【００１０】
本発明はこのような事情に鑑みてなされたもので、新規カラーフィルタ配列で得られたデータに対しても対応することが可能であり、受信側装置の性能差が画質に与える影響を低減し、受信側装置の性能を十分に活かすことが可能な画像処理システムおよびそれを構成する装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記した目的を達成するために本発明の一の態様に係る画像処理システムは、送信側装置と、ＲＡＷ現像対応の第１の受信側装置およびＲＡＷ現像非対応の第２の受信側装置のうちの少なくとも一方の受信側装置とで構成される画像処理システムであって、送信側装置は、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子からカラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、中間データを同時化処理し、第１の３面の色データを生成する第１の同時化処理手段と、第１の３面の色データに各色データのうちの中間データの画素位置を特定するための配置情報を付与して出力する出力手段と、を備え、第１の受信側装置は、第１の３面の色データと配置情報とが入力される第１の入力手段と、配置情報に基づいて第１の３面の色データから中間データを抽出する中間データ抽出手段と、抽出した中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第１の後処理手段と、を備え、第２の受信側装置は、第１の３面の色データが入力される第２の入力手段と、入力された第１の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第２の後処理手段と、を備える。【００１２】
これにより、新規カラーフィルタ配列で得られたデータに対しても、適した処理をすることが可能であり、受信側装置の性能差が画質に与える影響を低減し、受信側装置の性能を十分に活かすことが可能である。【００１３】
本発明の他の態様に係る画像処理システムは、送信側装置と、ＲＡＷ現像対応の第１の受信側装置およびＲＡＷ現像非対応の第２の受信側装置のうちの少なくとも一方の受信側装置とで構成される画像処理システムであって、送信側装置は、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子からカラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、ＲＡＷデータに対して前処理を行うことにより同時化処理前の第１の中間データを生成する第１の前処理手段と、第１の中間データからＲＡＷデータへの復元のための復元情報を取得する復元情報取得手段と、第１の中間データを同時化処理し、第１の３面の色データを生成する第１の同時化処理手段と、第１の３面の色データに各色データのうちの第１の中間データの画素位置を特定するための配置情報および復元情報を付与して出力する出力手段と、を備え、第１の受信側装置は、第１の３面の色データと配置情報および復元情報とが入力される第１の入力手段と、配置情報に基づいて第１の３面の色データから第１の中間データを抽出する中間データ抽出手段と、復元情報に基づいて抽出された第１の中間データからＲＡＷデータを復元する復元処理手段と、復元処理手段により復元されたＲＡＷデータに前処理を行うことにより同時化処理前の第２の中間データを生成する第２の前処理手段と、第２の中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第１の後処理手段と、を備え、２の受信側装置は、第１の３面の色データが入力される第２の入力手段と、入力された第１の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第２の後処理手段と、を備える。【００１４】
これにより、新規カラーフィルタ配列で得られたデータに対しても、適した処理をすることが可能であり、受信側装置の性能差が画質に与える影響を低減し、受信側装置の性能を十分に活かすことが可能である。【００１５】
好ましくは、送信側装置の出力手段は、第１の３面の色データに配置情報および中間データを付与して出力し、第１の受信側装置の入力手段には、第１の３面の色データと配置情報と中間データとが入力され、送信側装置から送られてきた中間データ、または中間データ抽出手段から得られる中間データを選択する中間データ選択手段を備え、第２の同時化処理手段は中間データ選択手段で選択された中間データを同時化処理し、第２の３面の色データが生成される。【００１６】
また好ましくは、送信側装置の出力手段は、第１の３面の色データに配置情報およびＲＡＷデータを付与して出力し、第１の受信側装置の入力手段は、第１の３面の色データと配置情報とＲＡＷデータとを入力し、送信側装置から送られてきたＲＡＷデータ、または復元処理手段から得られるＲＡＷデータを選択するＲＡＷデータ選択手段を備え、第２の前処理手段は、ＲＡＷデータ選択手段で選択されたＲＡＷデータにより第２の中間データを生成する。【００１７】
本発明の他の態様に係る画像処理システムにおいて、送信側装置と、ＲＡＷ現像対応の第１の受信側装置およびＲＡＷ現像非対応の第２の受信側装置のうちの少なくとも一方の受信側装置とで構成される画像処理システムであって、送信側装置は、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子からカラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、ＲＡＷデータに対して前処理を行うことにより同時化処理前の第１の中間データを生成する第１の前処理手段と、第１の中間データを同時化処理して３面の色データを生成し、３面の色データのうちの中間データに代えてＲＡＷデータを配置して、第１の３面の色データを生成する第１の同時化処理手段と、第１の３面の色データに各色データのうちのＲＡＷデータの画素位置を特定するための配置情報を付与して出力する出力手段と、を備え、第１の受信側装置は、第１の３面の色データと配置情報とが入力される入力手段と、配置情報に基づいて第１の３面の色データからＲＡＷデータを抽出するＲＡＷデータ抽出手段と、ＲＡＷデータ抽出手段により抽出したＲＡＷデータを前処理し第２の中間データを生成する第２の前処理手段と、第２の中間データを同時化処理し第２の３面の色データを生成する第２の同時化処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第１の後処理手段と、を備え、第２の受信側装置は、第１の３面の色データが入力される第２の入力手段と、入力された第１の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第２の後処理手段と、を備える。【００１８】
これにより、新規カラーフィルタ配列で得られたデータに対しても適した対応とすることが可能であり、受信側装置の性能差が画質に与える影響を低減し、受信側装置の性能を十分に活かすことが可能である。【００１９】
本発明の他の態様に係る画像処理システムにおいて、送信側装置と、ＲＡＷ現像対応の第１の受信側装置およびＲＡＷ現像非対応の第２の受信側装置のうちの少なくとも一方の受信側装置とで構成される画像処理システムであって、送信側装置は、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子からカラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、ＲＡＷデータに対して前処理を行うことにより同時化処理前の第１の中間データを生成する第１の前処理手段と、ＲＡＷデータから第１の中間データへの復元のための復元情報を取得する復元情報取得手段と、第１の中間データを同時化処理して３面の色データを生成し、３面の色データのうちの中間データに代えてＲＡＷデータを配置して、第１の３面の色データを生成する第１の同時化処理手段と、第１の３面の色データに各色データのうちのＲＡＷデータの画素位置を特定するための配置情報および復元情報を付与して出力する出力手段と、を備え、第１の受信側装置は、第１の３面の色データと配置情報および復元情報とが入力される第１の入力手段と、配置情報に基づいて第１の３面の色データからＲＡＷデータを抽出するＲＡＷデータ抽出手段と、復元情報に基づいてＲＡＷデータ抽出手段により抽出されたＲＡＷデータを前処理し第２の中間データを生成する第１の復元処理手段と、第２の中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第１の後処理手段と、を備え、第２の受信側装置は、第１の３面の色データと配置情報および復元情報とが入力される入力手段と、配置情報に基づいて第１の３面の色データからＲＡＷデータを抽出するＲＡＷデータ抽出手段と、復元情報に基づいてＲＡＷデータ抽出手段により抽出されたＲＡＷデータを前処理し第３の中間データを生成する第２の復元処理手段と、第３の中間データで、第１の３面の色データにおけるＲＡＷ画素を置き換える補正を行い第３の３面の色データを生成するＲＡＷ画素補正処理手段と、第３の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第２の後処理手段と、を備える。【００２０】
好ましくは、送信側装置の出力手段は、第１の３面の色データに配置情報およびＲＡＷデータを付与して出力する出力手段を備え、第１の受信側装置の入力手段は、第１の３面の色データと配置情報とＲＡＷデータとを入力し、ＲＡＷデータ、またはＲＡＷデータ抽出手段から得られるＲＡＷデータを選択するＲＡＷデータ選択手段を備える。【００２１】
また好ましくは、送信側装置の出力手段は、第１の３面の色データに配置情報と復元情報と第１の中間データとを付与して出力する出力手段を備え、第１の受信側装置の入力手段は、第１の３面の色データと配置情報と復元情報と第１の中間データとが入力され、第１の中間データ、または第２の中間データを選択する中間データ選択手段を備える。【００２２】
また好ましくは、送信側装置の復元情報取得手段が取得する復元情報は、ＲＡＷデータと第１の中間データの差分データ、または前処理の処理内容である。【００２３】
また好ましくは、第１の受信側装置が、第１の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第３の後処理手段を備え、第１の後処理手段から得られる記録用の画像データもしくは表示用の画像データ、または第３の後処理手段から得られる記録用の画像データもしくは表示用の画像データを選択する選択手段と、を備える。【００２４】
また好ましくは、送信側装置は、第１の３面の色データおよび中間データのうち少なくとも１つのデータを選択する選択手段を備え、出力手段は、選択手段により選択された少なくとも１つのデータに配置情報を付与して出力する。【００２５】
また好ましくは、送信側装置は、第１の３面の色データおよびＲＡＷデータのうち少なくとも１つのデータを選択する選択手段を備え、出力手段は、選択手段により選択された少なくとも１つのデータに配置情報および復元情報を付与して出力する。【００２６】
また好ましくは、送信側装置は、第１の３面の色データおよびＲＡＷデータのうち少なくとも１つのデータを選択し、出力手段は、選択手段により選択された少なくとも１つのデータに配置情報を付与して出力する。【００２７】
また好ましくは、送信側装置は、第１の３面の色データおよび第１の中間データのうち少なくとも１つのデータを選択する選択手段を備え、出力手段は、選択手段により選択された少なくとも１つのデータに配置情報および復元情報を付与して出力する。【００２８】
また好ましくは、第１の受信側装置は、第１の復元処理手段から得られる第２の中間データを使用し、第１の３面の色データにおけるＲＡＷ画素を置き換える補正を行い第４の３面の色データを生成するＲＡＷ画素補正処理手段と、第４の３面の色データに対して第３の後処理を行うことにより記録用の画像データまたは表示用の画像データを生成する第３の後処理手段と、第１の後処理手段から得られる記録用の画像データまたは表示用の画像データ、または第３の後処理部から得られる記録用の画像データまたは表示用の画像データを選択する選択手段を、備える。【００２９】
また、上記した目的を達成するために本発明の一の態様に係る送信側装置は、撮像素子により得られたデータを画像表示または記録可能なデータに処理するためのデータおよび情報を出力する送信側装置であって、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子からカラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、中間データを同時化処理し、３面の色データを生成する同時化処理手段と、３面の色データに各色データのうちの中間データの画素位置を特定するための配置情報を付与して出力する出力手段と、を備える。【００３０】
本発明の他の態様に係る送信側装置において、撮像素子により得られたデータを画像表示または記録可能なデータに処理するためのデータおよび情報を出力する送信側装置であって、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子からカラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、中間データからＲＡＷデータへの復元のための復元情報を取得する復元情報取得手段と、中間データを同時化処理し、３面の色データを生成する同時化処理手段と、３面の色データに各色データのうちの中間データの画素位置を特定するための配置情報および復元情報を付与して出力する出力手段と、を備える。【００３１】
また、本発明の他の態様に係る送信側装置において、撮像素子により得られたデータを画像表示または記録可能なデータに処理するためのデータおよび情報を出力する送信側装置であって、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子からカラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、中間データを同時化処理して３面の色データを生成し、３面の色データのうちの中間データに代えてＲＡＷデータを配置して、３面の色データを生成する同時化処理手段と、３面の色データに各色データのうちのＲＡＷデータの画素位置を特定するための配置情報を付与して出力する出力手段と、を備える。【００３２】
また、本発明の他の態様に係る送信側装置において、撮像素子により得られたデータを画像表示または記録可能なデータに処理するためのデータおよび情報を出力する送信側装置であって、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子からカラーフィルタ配列に対応した未処理のＲＡＷデータを取得するＲＡＷデータ取得手段と、ＲＡＷデータに対して前処理を行うことにより同時化処理前の中間データを生成する前処理手段と、ＲＡＷデータから中間データへの復元のための復元情報を取得する復元情報取得手段と、中間データを同時化処理して３面の色データを生成し、３面の色データのうちの中間データに代えてＲＡＷデータを配置して、３面の色データを生成する同時化処理手段と、３面の色データに各色データのうちのＲＡＷデータの画素位置を特定するための配置情報および復元情報を付与して出力する出力手段と、を備える。【００３３】
また、上記した目的を達成するために本発明の一の態様に係る受信側装置は、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得されるカラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の中間データが生成され、中間データが同時化処理されることにより生成される第１の３面の色データ、および第１の３面の色データに付与された各色データのうちの中間データの画素位置を特定するための配置情報を受信する受信側装置であって、第１の３面の色データと配置情報とが入力される第１の入力手段と、配置情報に基づいて第１の３面の色データから中間データを抽出する中間データ抽出手段と、抽出した中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える。【００３４】
また、本発明の他の態様に係る受信側装置において、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得されるカラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の第１の中間データが生成され、第１の中間データが同時化処理されることにより生成される第１の３面の色データ、第１の３面の色データに付与された各色データのうちの第１の中間データの画素位置を特定するための配置情報、および第１の３面の色データに付与された第１の中間データからＲＡＷデータへの復元のための復元情報を受信する受信側装置であって第１の３面の色データと配置情報および復元情報とが入力される第１の入力手段と、配置情報に基づいて第１の３面の色データから第１の中間データを抽出する中間データ抽出手段と、復元情報に基づいて抽出された第１の中間データからＲＡＷデータを復元する復元処理手段と、復元処理手段により復元されたＲＡＷデータに前処理を行うことにより同時化処理前の第２の中間データを生成する第２の前処理手段と、第２の中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える。【００３５】
また、本発明の他の態様に係る受信側装置において、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得されるカラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の第１の中間データが生成され、第１の中間データが同時化処理されることにより３面の色データが生成され、３面の色データのうちの中間データに代えてＲＡＷデータが配置されることにより得られる第１の３面の色データ、および第１の３面の色データに付与された各色データのうちのＲＡＷデータの画素位置を特定するための配置情報を受信する受信側装置であって、第１の３面の色データと配置情報とが入力される入力手段と、配置情報に基づいて第１の３面の色データからＲＡＷデータを抽出するＲＡＷデータ抽出手段と、ＲＡＷデータ抽出手段により抽出したＲＡＷデータを前処理し第２の中間データを生成する第２の前処理手段と、第２の中間データを同時化処理し第２の３面の色データを生成する第２の同時化処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える。【００３６】
また、本発明の他の態様に係る受信側装置において、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得されるカラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の第１の中間データが生成され、第１の中間データが同時化処理されることにより３面の色データが生成され、３面の色データのうちの中間データに代えてＲＡＷデータが配置されることにより得られる第１の３面の色データ、第１の３面の色データに付与された各色データのうちのＲＡＷデータの画素位置を特定するための配置情報、および第１の３面の色データに付与されたＲＡＷデータから第１の中間データへの復元のための復元情報を受信する受信側装置であって、第１の３面の色データと配置情報および復元情報とが入力される第１の入力手段と、配置情報に基づいて第１の３面の色データからＲＡＷデータを抽出するＲＡＷデータ抽出手段と、復元情報に基づいてＲＡＷデータ抽出手段により抽出されたＲＡＷデータを前処理し第２の中間データを生成する第１の復元処理手段と、第２の中間データを同時化処理し、第２の３面の色データを生成する第２の同時化処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える。【００３７】
また、本発明の他の態様に係る受信側装置において、２次元配列された複数の画素上に所定のカラーフィルタ配列のカラーフィルタが配設されてなる単板式のカラー撮像素子から取得されるカラーフィルタ配列に対応した未処理のＲＡＷデータが前処理されることにより同時化処理前の第１の中間データが生成され、第１の中間データが同時化処理されることにより３面の色データが生成され、３面の色データのうちの中間データに代えてＲＡＷデータが配置されることにより得られる第１の３面の色データ、第１の３面の色データに付与された各色データのうちのＲＡＷデータの画素位置を特定するための配置情報、および第１の３面の色データに付与されたＲＡＷデータから第１の中間データへの復元のための復元情報を受信する受信側装置であって、第１の３面の色データと配置情報および復元情報とが入力される入力手段と、配置情報に基づいて第１の３面の色データからＲＡＷデータを抽出するＲＡＷデータ抽出手段と、復元情報に基づいてＲＡＷデータ抽出手段により抽出されたＲＡＷデータを前処理し第２の中間データを生成する復元処理手段と、第２の中間データで、第１の３面の色データにおけるＲＡＷ画素を置き換える補正を行い第２の３面の色データを生成するＲＡＷ画素補正処理手段と、第２の３面の色データに対して同時化処理後の処理を行うことにより記録用の画像データまたは表示用の画像データを生成する後処理手段と、を備える。【００３８】
これにより、受信側装置において、改めてユーザの要求に応えるような画質の調整が可能である。
【発明の効果】
【００３９】
本発明によれば、送信側装置において、受信側装置の性能に応じた画像処理が可能なように情報を付与してデータを送信することができるので、新規カラーフィルタ配列で得られたデータに対しても適した対応することが可能である。また受信側装置において、ＲＡＷ現像対応またはＲＡＷ現像非対応の装置それぞれに応じて送られてきたデータを処理することができるので、受信側装置の性能差が画質に与える影響を低減し、受信側装置の性能を十分に活かすことが可能である。さらに、本発明の送信側装置および受信側装置で構成されるシステムでは、カラーフィルタ配列や受信側の画像処理性能に応じて、良い画質の画像を取得することが可能である。
【図面の簡単な説明】
【００４０】
【図１Ａ】図１Ａは本発明に係る画像処理システムの概念を説明するために用いた図である。
【図１Ｂ】図１Ｂは新規カラーフィルタの一つの例を示す模式図である。
【図１Ｃ】図１Ｃは新規カラーフィルタの一つの例を示す模式図である。
【図１Ｄ】図１Ｄは同時化処理を説明する図である。
【図２】図２は本発明に係る第１の実施形態における送信側装置の機能ブロック図である。
【図３】図３は本発明に係る第１の実施形態における送信側装置の処理手順を示すフローチャートである。
【図４】図４は本発明に係る第１の実施形態における第１の受信側装置の機能ブロック図である。
【図５】図５は本発明に係る第１の実施形態における第１の受信側装置の処理手順を示すフローチャートである。
【図６】図６は本発明に係る第１の実施形態における第２の受信側装置の機能ブロック図である。
【図７】図７は本発明に係る第１の実施形態における第２の受信側装置の処理手順を示すフローチャートである。
【図８】図８は本発明に係る第２の実施形態における送信側装置の機能ブロック図である。
【図９】図９は本発明に係る第２の実施形態における送信側装置の処理手順を示すフローチャートである。
【図１０】図１０は本発明に係る第２の実施形態における第１の受信側装置の機能ブロック図である。
【図１１】図１１は本発明に係る第２の実施形態における第１の受信側装置の処理手順を示すフローチャートである。
【図１２】図１２は本発明に係る第３の実施形態における送信側装置の機能ブロック図である。
【図１３】図１３は本発明に係る第３の実施形態における送信側装置の処理手順を示すフローチャートである。
【図１４】図１４は本発明に係る第３の実施形態における第１の受信側装置の機能ブロック図である。
【図１５】図１５は本発明に係る第３の実施形態における第１の受信側装置の処理手順を示すフローチャートである。
【図１６】図１６は本発明に係る第４の実施形態における送信側装置の機能ブロック図である。
【図１７】図１７は本発明に係る第４の実施形態における送信側装置の処理手順を示すフローチャートである。
【図１８】図１８は本発明に係る第４の実施形態における第１の受信側装置の機能ブロック図である。
【図１９】図１９は本発明に係る第４の実施形態における第１の受信側装置の処理手順を示すフローチャートである。
【図２０】図２０は本発明に係る第５の実施形態における送信側装置の機能ブロック図である。
【図２１】図２１は本発明に係る第５の実施形態における送信側装置の処理手順を示すフローチャートである。
【図２２】図２２は本発明に係る第５の実施形態における第１の受信側装置の機能ブロック図である。
【図２３】図２３は本発明に係る第５の実施形態における第１の受信側装置の処理手順を示すフローチャートである。
【図２４】図２４は本発明に係る第６の実施形態における送信側装置の機能ブロック図である。
【図２５】図２５は本発明に係る第６の実施形態における送信側装置の処理手順を示すフローチャートである。
【図２６】図２６は本発明に係る第６の実施形態における第１の受信側装置の機能ブロック図である。
【図２７】図２７は本発明に係る第６の実施形態における第１の受信側装置の処理手順を示すフローチャートである。
【図２８】図２８は本発明に係る第６の実施形態における第２の受信側装置の機能ブロック図である。
【図２９】図２９は本発明に係る第６の実施形態における第２の受信側装置の処理手順を示すフローチャートである。
【図３０】図３０は本発明に係る第７の実施形態における送信側装置の機能ブロック図である。
【図３１】図３１は本発明に係る第７の実施形態における第１の受信側装置の機能ブロック図である。
【図３２】図３２は本発明に係る第７の実施形態における第１の受信側装置の処理手順を示すフローチャートである。
【図３３】図３３は本発明に係る第８の実施形態における送信側装置の機能ブロック図である。
【図３４】図３４は本発明に係る第８の実施形態における第１の受信側装置の機能ブロック図である。
【図３５】図３５は本発明に係る第８の実施形態における第１の受信側装置の処理手順を示すフローチャートである。
【図３６】図３６は本発明に係る第１０の実施形態における第１の受信側装置の機能ブロック図である。
【図３７】図３７は本発明に係る第１１の実施形態における送信側装置の機能ブロック図である。
【図３８】図３８は本発明に係る第１５の実施形態における送信側装置の機能ブロック図である。
【図３９】本発明に係る撮影装置の一実施形態を示す図である。
【図４０】図３９に示す撮影装置の構成を示すブロック図である。
【発明を実施するための形態】
【００４１】
以下、添付図面にしたがって本発明に係る画像処理システムの実施形態について説明する。なお、以下の説明は、実施形態の一例であるため、本発明の実施形態がこれに限定されるものではない。
【００４２】
［本発明に係る画像処理システムの概念］
図１Ａに本発明に係る画像処理システム１００を含む撮影装置の概念を示す。レンズ１０４で捉えられた光は撮像素子１０５に送られ、撮像素子１０５は送られてきた光に応じて信号を発する。撮像素子１０５は、所定配列のカラーフィルタ（例えば、ベイヤ配列、ハニカム配列、ＧストライプＲ／Ｇ完全市松等）が設けられた単板式のカラー撮像素子（ＣＣＤ、ＣＭＯＳ等）で構成されている。この光に応じて発せられる信号をＲＡＷデータとして画像処理システム１００の送信側装置１０１が取得する。また、所定配列のカラーフィルタは、全く新規なものにすることができる。
【００４３】
例えば、図１Ｂは新規なカラーフィルタの基本配列パターン例を示す図である。なお図１Ｂにおいて、「Ｒ」はレッド（赤）のフィルターを示し、「Ｇ」はグリーン（緑）のフィルターを示し、「Ｂ」はブルー（青）のフィルターを示す。
【００４４】
図１Ｂに示されたカラーフィルタは、Ｍ×Ｎ（６×６）画素に対応する正方配列パターンからなる基本配列パターンＰが水平方向および垂直方向に繰り返し配置されて構成される。したがって、撮像素子１０５から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際には、繰り返しパターンにしたがって処理を行うことができる。このようなカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、およびＢフィルタ）が所定の周期性をもって配列されている。
【００４５】
図１Ｂに示す別の配列のカラーフィルタでは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平方向および垂直方向に交互に並べられた配列となっている。
【００４６】
Ａ配列およびＢ配列は、それぞれＧフィルターが４隅と中央に配置されており、両対角線上にＧフィルターが配置されている。Ａ配列では、Ｒフィルターが中央のＧフィルターを挟んで水平方向に配列され、Ｂフィルターが中央のＧフィルターを挟んで垂直方向に配列されている。一方、Ｂ配列では、Ｂフィルターが中央のＧフィルターを挟んで水平方向に配列され、Ｒフィルターが中央のＧフィルターを挟んで垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルターとＢフィルターとの位置関係が逆転しているが、その他の配置は同様になっている。
【００４７】
また、Ａ配列とＢ配列の４隅のＧフィルターは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルターとなる。
【００４８】
図１Ｃは、図１Ｂに示す基本配列パターンのカラーフィルタを水平方向および垂直方向に２つずつ並べて配置したカラーフィルタ配列を示す。このカラーフィルタ配列では、一般に輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルターが、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、および斜め左上（ＮＷ）方向の各ライン内に１以上配置されている。
【００４９】
ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上および斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。
【００５０】
このようなカラーフィルタ配列によれば、輝度系画素に対応するＧフィルターが、カラーフィルタ配列の水平、垂直、および斜め（ＮＥ、ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理（デモザイク処理とも言う）の再現精度を向上させることができる。
【００５１】
また、図１Ｃに示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ、Ｂの色）に対応するＲフィルター、Ｂフィルターが、それぞれ基本配列パターンの水平、および垂直方向の各ライン内に１つ以上配置されている。
【００５２】
Ｒフィルター、Ｂフィルターが、カラーフィルタ配列の水平、および垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。なお、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
【００５３】
さらに、図１Ｃに示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルターに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
【００５４】
上記のように、図１Ｃに示すカラーフィルタ配列では、Ｇ画素の画素数とＲ、Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ、Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができ、また高周波再現性も改善することができる。
【００５５】
送信側装置１０１から出力されたデータは、ＲＡＷ現像対応の第１の受信側装置１０２およびＲＡＷ現像非対応の第２の受信側装置１０３のうちの少なくとも一方に入力される。第１の受信側装置１０２および第２の受信側装置１０３のうち少なくとも一方より、画像表示用および／または記録用データが画像表示および／または記録装置へ出力される。ここで、被写体を撮影する装置としては、様々なものが考えられる。例えば、デジタルカメラや撮影機能を有する携帯端末装置である。ここでいう携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。
【００５６】
また、本発明の画像処理システム１００は、様々な態様で装置に埋め込まれることが可能である。例えば、本発明の画像処理システム１００を有するデジタルカメラや、本発明の画像処理システム１００の送信側装置１０１を有するデジタルカメラ等が考えられる。また、例えば、本発明の画像処理システム１００を有するパーソナルコンピュータや携帯端末、本発明の画像処理システム１００の第１の受信側装置１０２および第２の受信側装置１０３のうち少なくとも一方を有するパーソナルコンピュータや携帯端末が考えられる。
【００５７】
［第１の実施形態］
図２は本発明に係る第１の実施形態の送信側装置１０１の機能ブロック図である。
【００５８】
送信側装置１０１は、主としてＲＡＷデータ取得部２０２Ａ、前処理部２０４Ａ、第１の同時化処理部２０６Ａ、出力部２０８Ａ、情報付与部２１０Ａ、送信部２１２Ａ、および制御部２１４Ａを含んで構成されている。捉えた光に応じて撮像素子１０５により出力される未処理の信号、すなわちＲＡＷデータを、送信側装置１０１のＲＡＷデータ取得部２０２Ａにより取得する。
【００５９】
ＲＡＷデータ取得部２０２Ａにより取得されたＲＡＷデータは、前処理部２０４Ａに送られる。前処理部２０４Ａでは、主にオフセット補正やホワイトバランス補正（ＷＢ補正）などがＲＡＷデータに対して行われる。すなわち、ＲＡＷデータ取得部２０２Ａから送られてきたＲＡＷデータに対して、黒レベルを揃えるオフセット補正がなされる。そして、オフセット補正後のＲＡＷデータに対して、ホワイトバランス補正が行われる。
【００６０】
ここで、ホワイトバランス補正用のゲイン値Ｒｇ、Ｇｇ、およびＢｇは、ＲＡＷデータを解析して、例えば光源種（太陽光、蛍光灯、タングステン電球等）を特定し、その光源種に対応して予め記憶されているゲイン値Ｒｇ、Ｇｇ、およびＢｇに設定され、あるいはホワイトバランス補正を行うメニュー画面上で手動で選択された光源種や色温度に対応するゲイン値Ｒｇ、Ｇｇ、およびＢｇに設定される。
【００６１】
ＲＡＷデータに、本発明の前処理部２０４Ａで前処理を施すと、同時化処理前の中間データを得ることができる。
【００６２】
前処理を施すことにより得られた中間データは、第１の同時化処理部２０６Ａに送られ、第１の同時化処理部２０６Ａにおいて同時化処理が行われる。ここでいう同時化処理とは、単板式のカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理のことをいい、デモザイク処理とも言われる。また、同時式への変換は、一つの態様に限られるものではない。方向性や重み付けを行った同時式への変換も行うことができるし、ユーザの求める画質および同時化処理を行う装置の性能に応じて種々の同時式への変換を行うことができる。
【００６３】
第１の同時化処理部２０６Ａは、中間データに同時化処理を行うことにより、第１の３面の色データ（例えば、ＲＧＢデータ）を出力することができる。同時化処理に関して図１Ｄにより詳細に説明する。図１Ｄ（ａ）は中間データまたはＲＡＷデータでの配列を示す。図１Ｄ（ｂ）から図１Ｄ（ｄ）は、Ｒ（赤）、Ｇ（緑）、およびＢ（青）のそれぞれの色のデータである。同時化処理を行う際、中間データまたはＲＡＷデータの配列に画素値が存在している箇所はその画素を使用し（図１Ｄ（ｂ）から図１Ｄ（ｄ）では影が付いている部分）、中間データに画素値が存在しないところは補間した画素値を使用する（図１Ｄ（ｂ）から図１Ｄ（ｄ）で白抜き部分）。
【００６４】
この第１の３面の色データは、出力部２０８Ａへと送られる。本発明の出力部２０８Ａは、主に情報付与部２１０Ａと送信部２１２Ａから構成される。送られてきた第１の３面の色データには、情報付与部２１０Ａにおいて、配置情報が付与される。配置情報とは、第１の３面の色データにおける各色の色データ上において中間データに対応する色がある画素であり、そのまま第１の３面の色データに使用した画素を特定することができる情報のことをいう。例えば、カラーフィルタ配列の配列情報であったり先頭画素情報であったり各色の色データのうち中間データに色のある画素位置を特定する情報であったりする。
【００６５】
配置情報が付与された第１の３面の色データは、送信部２１２Ａに送られる。送信部２１２Ａでは、配置情報が付与された第１の３面の色データを出力する。出力された、配置情報が付与された３面の色データは、転送データとして受信側装置へ送られる。ここで、送信側装置１０１において、３面の色データに配置情報が付与されることによって、ＲＡＷ現像対応の第１の受信側装置１０２およびＲＡＷ現像非対応の第２の受信側装置どちらにも対応可能なデータを出力することが可能であり、受信側装置で再び同時化処理を行うことが可能なデータを出力することが可能である。
【００６６】
なお、制御部２１４Ａにより情報付与部２１０Ａと送信部２１２Ａは制御されている。
【００６７】
図３は本発明の送信側装置１０１で行われる処理動作について示したフローチャートである。
【００６８】
まず、撮像素子１０５から送られてくるＲＡＷデータを取得し（ステップＳ１００Ａ）、そのＲＡＷデータに対して前処理を行う（ステップＳ１０２Ａ）。その後、前処理により出力される中間データを使用して第１の同時化処理を行う（ステップＳ１０４Ａ）。第１の同時化処理により出力される第１の３面の色データ（例えばＲＧＢデータ）に情報付与を行う（ステップＳ１０６Ａ）。このステップでは、第１の３面の色データ上において中間データに色があり、そのまま第１の３面の色データに使用した画素を特定することができる配置情報の付与を行う。配置情報が付与された３面の色データを送信する（ステップＳ１０８Ａ）ことにより、本発明の送信側装置１０１で行われる処理動作が終了する。
【００６９】
図４は本発明の画像処理システム１００における、ＲＡＷ現像対応の第１の受信側装置１０２の機能ブロック図である。
【００７０】
本発明の第１の受信側装置１０２には、主に第１の入力部３０２Ａ、中間データ抽出部３０４Ａ、第２の同時化処理部３０６Ａ、第１の後処理部３０８Ａ、画像データ記録部または表示部３１０Ａ、情報抽出部３１２Ａ、および制御部３１４Ａから構成されている。
【００７１】
送信側装置１０１から出力された転送データは、第１の受信側装置１０２の第１の入力部３０２Ａに入力される。第１の入力部３０２Ａに入力されたデータは、第１の３面の色データに配置情報が付与されているものである。前記配置情報は、情報抽出部３１２Ａにより抽出され、制御部３１４Ａへと送られる。
【００７２】
第１の入力部３０２Ａに入力された第１の３面の色データは、中間データ抽出部３０４Ａに送られる。中間データ抽出部３０４Ａでは、第１の３面の色データから、送信側装置１０１で行われた第１の同時化処理での元データである中間データを抽出し生成する。すなわち、中間データ抽出部３０４Ａでは、付与された配置情報に基づき、第１の３面の色データ上にもともと中間データとしてある画素であってそのままそのデータを３面の色データに使用されたデータ（図１Ｄ（ｂ）から図１Ｄ（ｄ）上の影が付いている部分）を抽出し、もとの中間データを生成する。抽出生成された中間データは、第２の同時化処理部３０６Ａに送られる。
【００７３】
第２の同時化処理部３０６Ａでは、中間データ抽出部３０４Ａにより生成された中間データに基づいて第２の同時化処理が行われる。すなわち、単板式のカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理を行う。また、同時式への変換は、一つの態様に限られるものではない。方向性や重み付けを行った同時式への変換も行うことができるし、ユーザの求める画質、および同時化処理を行う装置の性能に応じて種々の同時式への変換を行うことができる。
【００７４】
第２の同時化処理部３０６Ａにより生成された第２の３面の色データは、第１の後処理部３０８Ａへ送られる。第１の後処理部３０８Ａでは、第２の３面の色データに対して、後処理を行う。ここでいう後処理とは、より高画質の画像を得るために３面の色データに対して行われる補正、および表示用および／または記録用データに適したフォーマットに補正することも含まれる。例えば、ＲＧＢ／ＹＣ変換処理が行われる。ＲＧＢ／ＹＣ変換処理は、Ｒ、Ｇ、およびＢデータを輝度データＹ、色差データＣr、Ｃｂに変換し、輝度データＹを輪郭補正処理し、色差データＣr、Ｃｂを色調補正処理する。輪郭補正処理は、輝度データＹの輪郭部（輝度変化の大きい部分）を強調する処理を行う。
【００７５】
色調補正処理は、入力する色差信号Ｃr、Ｃｂと、２行×２列の色補正マトリクス係数とのマトリクス演算を行い、良好な色再現性を実現させるための色補正を行う。色補正マトリクス係数は、ユーザからの色補正の指示入力に応じて適宜変更される。また記録用の画像データのフォーマットとしては、ＪＰＥＧやＴＩＦＦファイルに変換することも考えられる。
【００７６】
第１の後処理部３０８Ａで得られた表示用および／または記録用データは、画像データ記録部または表示部３１０Ａに送られる。ここでいう、画像データ記録部とは様々な具体例が考えられ、データを保存することが可能であれば特に限定されるものではない。例えば、ハードディスクやＣＤＲＯＭ等の記録媒体や、ＵＳＢ、ＳＤカード等の記録媒体等が考えられる。一方、画像データ表示部とは、画像を表示することが可能であれば特に限定されるものではなく、様々な具体例が想定される。例えば、モニターやテレビ等である。また、携帯端末で画像データを表示可能なものが具体例として考えられる。
【００７７】
制御部３１４Ａは、中間データ抽出部３０４Ａ、第２の同時化処理部３０６Ａ、および第１の後処理部３０８Ａを制御する。図５は、第１の実施形態に係る第１の受信側装置１０２で行われる処理動作について示したフローチャートである。
【００７８】
まず、送信側装置１０１から転送されてきた第１の３面の色データおよび配置情報のデータを取得する（ステップＳ２００Ａ）。取得した第１の３面の色データに基づいて中間データを生成する（ステップＳ２０２Ａ）。すなわち、中間データ抽出処理（ステップＳ２０２Ａ）では、付与された配置情報に基づき、第１の３面の色データ上にもともと中間データとしてある画素であってそのままそのデータを３面の色データに使用されたデータ（図１Ｄ（ｂ）から図１Ｄ（ｄ）上の影が付いている部分）を抽出し、もとの中間データを生成する。その後、得られた中間データにより、第２の同時化処理を行い第２の３面の色データを得る（ステップＳ２０４Ａ）。次に得られた第２の３面の色データに対して第１の後処理を施し（ステップＳ２０６Ａ）、最後に画像データの記録および／または表示を行う（ステップＳ２０８Ａ）。
【００７９】
図６は、画像処理システム１００の第２の受信側装置１０３の機能ブロック図である。第２の受信側装置１０３は、主に第２の入力部４０２Ａ、第２の後処理部４０４Ａ、および画像データ記録または表示部４０６Ａで構成されている。送信側装置１０１から出力された転送データは、第２の受信側装置１０３の第２の入力部４０２Ａに入力される。第２の入力部４０２Ａに入力されたデータは、第２の後処理部４０４Ａに送られる。第２の後処理部４０４Ａでは、送信側装置１０１から送られてきた第１の３面の色データに対して、後処理が行われる。ここでいう後処理は第１の後処理と実質的に同じである。
【００８０】
図７は本発明の送信側装置１０１で行われる処理動作について示したフローチャートである。
【００８１】
まず、送信側装置１０１から転送されてきた第１の３面の色データおよび配置情報のデータを取得する（ステップＳ３００Ａ）。その後、取得した第１の３面の色データに第２の後処理を行う（ステップＳ３０２Ａ）。最後に、画像データ記録および／または表示を行う（ステップＳ３０４Ａ）。
【００８２】
第１の実施形態では、特に、第１の受信側装置１０２の中間データ抽出部３０４Ａの処理により、第１の３面の色データから中間データを生成する。これにより、第１の受信側装置１０２で再び同時化処理（第２の同時化処理部３０６Ａ）を行えるので、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【００８３】
［第２の実施形態］
図８は本発明に係る第２の実施形態の送信側装置１０１の機能ブロック図である。なお、第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【００８４】
図８に示す第２の実施形態の送信側装置１０１は、図２に示した第１の実施形態の送信側装置１０１に比べて、第１の前処理部５０２Ａと復元情報取得部５０４Ａが追加されている点、前処理部２０４Ａが無い点で相違する。
【００８５】
第１の前処理部５０２Ａは、ＲＡＷデータ取得部２０２ＡからＲＡＷデータを受け取り、第１の中間データを復元情報取得部５０４Ａに送る。第１の前処理部５０２Ａは、実質的に第１の実施形態における前処理部２０４Ａと同様の処理を行う。
【００８６】
復元情報取得部５０４Ａでは、第１の前処理部５０２Ａから第１の中間データを受け取り、第１の中間データを第１の同時化処理部２０６Ａへ送る。復元情報取得部５０４Ａでは、ＲＡＷデータと第１の中間データから、または前処理の処理内容から、第１の中間データからＲＡＷデータへの復元のための復元情報を取得する。すなわち、ＲＡＷデータと第１の中間データを比較することにより、例えば、差分データを取得し、第１の中間データからＲＡＷデータへ復元するために使用する復元情報を取得する。また、第１の前処理の処理内容を得ることによっても第１の中間データからＲＡＷデータへ復元することができる。
【００８７】
制御部２１４Ａは配置情報および復元情報を、情報付与部２１０Ａにて第１の３面の色データに付与する。ここで、送信側装置１０１において、３面の色データに配置情報および復元情報が付与されることによって、ＲＡＷ現像対応の第１の受信側装置１０２およびＲＡＷ現像非対応の第２の受信側装置どちらにも対応可能なデータを出力することが可能であり、受信側装置で再び同時化処理を行うことが可能なデータを出力することが可能である。
【００８８】
図９は第２の実施形態の送信側装置１０１で行われる処理動作について示したフローチャートである。なお、図３で示した第１の実施形態の送信側装置１０１の処理動作について示したフローチャートと共通する処理は同一のステップ番号を付し、その詳細な説明は省略する。
【００８９】
図９に示した第２の実施形態の送信側装置１０１の処理動作は、図３に示した第１の実施形態の送信側装置１０１の処理動作に比べて、第１の前処理（ステップＳ４０２Ａ）および復元情報取得（ステップＳ４０４Ａ）が追加されている。第１の前処理（ステップＳ４０２Ａ）では、送られてきたＲＡＷデータに対して第１の前処理を行い、ＲＡＷデータから第１の中間データを生成する。そして、第１の前処理によって生成された第１の中間データは、復元情報取得処理（ステップＳ４０４Ａ）を行う場合に使用される。この復元情報取得処理（ステップＳ４０４Ａ）により、第１の中間データからＲＡＷデータへの復元処理のために使用する情報が得られる。例えば、ＲＡＷデータおよび第１の中間データから第１の前処理で行われた処理が分かるようなデータを取得する。具体例としては、ＲＡＷデータと中間データとの差分データが挙げられる。また、前処理の処理内容を取得することにより、第１の前処理で行われた処理を把握することができるので、その処理の逆処理を行うことで第１の中間データからＲＡＷデータへの復元処理は可能である。
【００９０】
図１０は、第２の実施形態に係る第１の受信側装置１０２の機能ブロック図である。なお、図４に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【００９１】
図１０に示す第２の実施形態に係る第１の受信側装置１０２は、復元処理部６０２Ａと第２の前処理部６０４Ａとが追加されている点で、図４に示された第１の実施形態に係る第１の受信側装置１０２と相違する。
【００９２】
復元処理部６０２Ａには、中間データ抽出部３０４Ａから第１の中間データが送られてくる。復元処理部６０２Ａでは、送られてきた第１の中間データからＲＡＷデータを、復元情報を使用して生成する。例えば、第１の中間データに送信側装置１０１の第１の前処理部５０２Ａ（図８参照）で行った処理の逆処理を行い、第１の中間データからＲＡＷデータを生成する。そして、得られたＲＡＷデータは、第２の前処理部６０４Ａに送られる。第２の前処理部６０４Ａでは、復元処理部６０２Ａから送付されてきたＲＡＷデータに対して前処理を行う。第２の前処理部６０４Ａでは、実質的に第１の実施形態の前処理部２０４Ａと同様の処理が行われる。
【００９３】
ＲＡＷデータに、本発明第２の前処理部６０４Ａで前処理を施すと、同時化処理前の第２の中間データを得ることができる。
【００９４】
図１１は、本発明の第２に係る第１の受信側装置１０２で行われる処理動作について示したフローチャートである。なお、図５で示した第１の実施形態に係る第１の受信側装置１０２と共通する部分は、同一のステップ番号を付し、その詳細な説明は省略する。
【００９５】
図１１に示される第１の受信側装置１０２は、図５で示された第１の受信側装置１０２と比較すると、復元処理（ステップＳ５０２Ａ）と第２の前処理（ステップＳ５０４Ａ）が追加されている点で相違する。
【００９６】
復元処理（ステップＳ５０２Ａ）では、送信されてきた第１の中間データを元のＲＡＷデータに戻す処理を行う。例えば、送信側で行われた前処理と逆の処理を行うことにより、第１の中間データをＲＡＷデータに戻すことが可能である。
【００９７】
復元処理（ステップＳ５０２Ａ）で得られたＲＡＷデータは、第２の前処理（ステップＳ５０４Ａ）に使用される。第２の前処理を行うことによって、送られてきたＲＡＷデータから第２の中間データを生成することが可能である。
【００９８】
第２の実施形態に係る第２の受信側装置１０３は、第１の実施形態に係る第２の受信側装置１０３と装置の構成および処理動作のフローは同じである（図６および図７を参照）。
【００９９】
第２の実施形態では、特に、第１の受信側装置１０２の復元処理部６０２Ａ、第２の前処理部６０４Ａ、および第２の同時化処理部３０６Ａの処理により、ＲＡＷデータを再生する。これにより、第１の受信側装置１０２で再び前処理（第２の前処理部６０４Ａ）および同時化処理（第２の同時化処理部３０６Ａ）を行えるので、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１００】
［第３の実施形態］
図１２は本発明に係る第３の実施形態に係る送信側装置１０１の機能ブロック図である。なお、第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１０１】
第３の実施形態は、第１の実施形態と比較して、送信側装置１０１で３面の色データに加えて中間データを出力し、その中間データを第１の受信側装置１０２の処理に利用するという点で異なる。
【０１０２】
図１２に記載されている第３の実施形態に係る送信側装置１０１と、図２に記載されている第１の実施形態に係る送信側装置１０１とは、前処理部２０４Ａで生成される中間データを中間データ付与部７０２Ａに送り、第１の３面の色データに付加する点で異なる。
【０１０３】
図１３には、第３の実施形態に係る送信側装置１０１の処理動作について示したフローチャートである。なお、図３で示した第１の実施形態の送信側装置１０１の処理動作について示したフローチャートと共通する処理は同一のステップ番号を付し、その詳細な説明は省略する。
【０１０４】
図１３に示す第３の実施形態に係る送信側装置１０１の処理動作は、図３に示した第１の実施形態の送信側装置１０１の処理動作に比べて、中間データ付与（ステップＳ６０２Ａ）が加えられているという点で相違する。中間データの付与とは、前処理（ステップＳ１０２Ａ）により、中間データが生成されるが、その中間データを第１の３面の色データに付与することを意味する。
【０１０５】
図１４は、第３の実施形態に係る第１の受信側装置１０２の機能ブロック図である。なお、図４に示される第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１０６】
図１４に示される第３の実施形態に係る第１の受信側装置１０２の機能ブロック図は、図４に示された第１の実施形態に係る第１の受信側装置１０２の機能ブロック図と比較すると、中間データ選択部３０５Ａを有する点で相違する。中間データ選択部３０５Ａでは、第１の入力部３０２Ａから送られてきた中間データ、または中間データ抽出部３０４Ａで生成された中間データを選択する。中間データ選択部３０５Ａで選択された中間データは、第２の同時化処理部３０６Ａへ送られる。
【０１０７】
図１５は、第３の実施形態に係る第１の受信側装置１０２の動作処理のフローチャートを示す。なお、図５で示した第１の実施形態の送信側装置１０１の動作処理について示したフローチャートと共通する処理は同一のステップ番号を付し、その詳細な説明は省略する。
【０１０８】
図１５に記載された第３の実施形態に係る第１の受信側装置１０２の動作処理は、図５で示された第１の実施形態の第１の受信側装置の動作処理に比べて、中間データ選択の処理（ステップＳ７０２Ａ）が加えられている点で相違する。中間データ選択とは、送信側装置１０１から送られてきた中間データまたは中間データ抽出部３０４Ａで生成された中間データを選択することをいう。選択された中間データは、第２の同時化処理（ステップＳ２０４Ａ）される。
【０１０９】
第３の実施形態に係る第２の受信側装置１０３は、第１の実施形態に係る第２の受信側装置１０３と装置の構成および処理動作のフローは同じである（図６および図７を参照）。
【０１１０】
第３の実施形態では、特に、送信側装置１０１の出力部２０８Ａの処理において、第１の３面の色データ、配置情報、および中間データを出力する。これにより、第１の受信側装置１０２で行える処理の選択肢が増え、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１１１】
［第４の実施形態］
図１６は本発明に係る第４の実施形態に係る送信側装置１０１の機能ブロック図である。なお、第２の実施形態（図８）と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１１２】
第４の実施形態は、第２の実施形態と比較して、送信側装置１０１で別途ＲＡＷデータを出力し、そのデータを第１の受信側装置１０２の処理に利用するという点で異なる。
【０１１３】
図１６に示される本発明に係る第４の実施形態に係る送信側装置１０１と、図８に示される第２の実施形態に係る送信側装置１０１とを比較すると、図１６の送信側装置１０１はＲＡＷデータ付与部９０２Ａを有する点で相違する。ＲＡＷデータ付与部９０２Ａでは、ＲＡＷデータ取得部２０２Ａで得られたＲＡＷデータを第１の３面の色データに付与する。
【０１１４】
図１７は第４の実施形態に係る送信装置で行われる処理動作について示したフローチャートである。なお、第２の実施形態（図９）と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１１５】
図１７に記載されている第６の実施形態に係る送信装置の処理動作は、図９に示される第２の実施形態と比較すると、ＲＡＷデータ付与（ステップＳ８０２Ａ）の処理が追加されている点で相違する。
【０１１６】
ＲＡＷデータ付与（ステップＳ８０２Ａ）では、第１の３面の色データに対して、ＲＡＷデータが付与される。
【０１１７】
図１８は第４の実施形態に係る第１の受信側装置１０２の機能ブロック図である。なお、第２の実施形態に係る第１の受信側装置の機能ブロック図である図１０と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１１８】
図１８に示される第５の実施形態に係る第１の受信側装置１０２の機能ブロック図は、図１０に示された第２の実施形態に係る第１の受信側装置１０２の機能ブロック図と比較すると、ＲＡＷデータ選択部６０３Ａを有する点で相違する。ＲＡＷデータ選択部６０３Ａでは、第１の入力部３０２Ａから送られてきたＲＡＷデータ、または復元処理部６０２Ａで生成されたＲＡＷデータを選択する。ＲＡＷデータ選択部６０３Ａで選択されたＲＡＷデータは、第２の前処理部６０４Ａへ送られる。
【０１１９】
図１９は、第４の実施形態に係る第１の受信側装置１０２の動作処理のフローチャートを示す。なお、図１１で示した第１の実施形態の送信側装置１０１の動作処理について示したフローチャートと共通する処理は同一のステップ番号を付し、その詳細な説明は省略する。
【０１２０】
図１９に記載された第４の実施形態に係る第１の受信側装置１０２の動作処理は、図１１で示された第１の実施形態の受信側装置１０２の動作処理に比べて、ＲＡＷデータ選択（ステップＳ９０２Ａ）の処理が加えられている点で相違する。ＲＡＷデータ選択とは、第１の入力部３０２Ａから送られてきたＲＡＷデータまたは復元処理により得られたＲＡＷデータを選択することをいう。選択されたＲＡＷデータは、第２の前処理（ステップＳ５０４Ａ）へ送られる。
【０１２１】
第４の実施形態に係る第２の受信側装置１０３は、第１の実施形態に係る第２の受信側装置１０３と装置の構成および処理動作のフローは同じである（図６および図７を参照）。
【０１２２】
第４の実施形態では、特に、送信側装置１０１の出力部２０８Ａの処理において、第１の３面の色データ、配置情報、およびＲＡＷデータを出力する。これにより、第１の受信側装置１０２で行える処理の選択肢が増え、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１２３】
［第５の実施形態］
図２０は本発明に係る第５の実施形態の送信側装置１０１の機能ブロック図である。
【０１２４】
送信側装置１０１は、主としてＲＡＷデータ取得部２０２Ｂ、第１の前処理部２０４Ｂ、第１の同時化処理部２０６Ｂ、出力部２０８Ｂ、情報付与部２１０Ｂ、送信部２１２Ｂ、および制御部２１４Ｂから構成されている。撮像素子１０５から捉えた光に応じて出力される未処理の信号、すなわちＲＡＷデータを、第１の送信側装置１０１のＲＡＷデータ取得部２０２Ｂにより取得する。
【０１２５】
取得されたＲＡＷデータは、第１の前処理部２０４Ｂに送られると共に第１の同時化処理部２０６Ｂにも送られる。第１の前処理部２０４Ｂでは、第１の実施形態の送信側装置１０１での前処理部２０４Ａと実質的に同様の処理が行われる。
【０１２６】
第１の前処理部２０４Ｂで得られた第１の中間データは、第１の同時化処理部２０６Ｂに送られる。
【０１２７】
第１の同時化処理部２０６Ｂにより同時化処理が行われる。すなわち、第１の同時化処理では、第１の中間データを同時化処理して３面の色データを生成し、前記３面の色データのうちの中間データに代えて前記ＲＡＷデータを配置して、第１の３面の色データを生成する。図１Ｄにより説明すると、ＲＡＷデータの配列に画素値が存在している箇所はその画素を使用（図１Ｄ（ｂ）から図１Ｄ（ｄ）では影が付いている部分）、ＲＡＷデータに画素値が存在しないところは補間した画素値を使用する（図１Ｄ（ｂ）から図１Ｄ（ｄ）で白抜き部分）。
【０１２８】
第１の同時化処理部２０６Ｂで得られた第１の３面の色データは、出力部２０８Ｂへと送られる。
【０１２９】
本発明の出力部２０８Ｂは、主に情報付与部２１０Ｂと送信部２１２Ｂから構成される。送られてきた第１の３面の色データには、情報付与部２１０Ｂにおいて、配置情報が付与される。配置情報とは、第１の３面の色データにおける各色の色データ上においてＲＡＷデータに対応する色がある画素であり、そのまま第１の３面の色データに使用した画素を特定することができる情報のことをいう。例えば、カラーフィルタ配列の配列情報であったり先頭画素情報であったり各色データのうちＲＡＷデータの画素位置を特定する情報であったりする。
【０１３０】
配置情報が付与された第１の３面の色データは、送信部２１２Ｂに送られる。送信部２１２Ｂでは、配置情報が付与された第１の３面の色データを出力する。出力された、配置情報が付与された第１の３面の色データは、転送データとして受信側装置へ送られる。ここで、送信側装置１０１において、３面の色データに配置情報が付与されることによって、ＲＡＷ現像対応の第１の受信側装置１０２およびＲＡＷ現像非対応の第２の受信側装置どちらにも対応可能なデータを出力することが可能であり、受信側装置で再び同時化処理を行うことが可能なデータを出力することが可能である。
【０１３１】
なお、制御部２１４Ｂにより情報付与部２１０Ｂと送信部２１２Ｂは制御されている。
【０１３２】
図２１は本発明の送信側装置１０１で行われる処理動作について示したフローチャートである。
【０１３３】
まず、撮像素子１０５から送られてくるＲＡＷデータを取得し（ステップＳ１００Ｂ）、そのＲＡＷデータに対して、第１の前処理を行う（ステップＳ１０２Ｂ）。その後、前処理により出力される中間データを使用して第１の同時化処理を行う（ステップＳ１０４Ｂ）。そして、第１の同時化処理により出力される第１の３面の色データ（例えばＲＧＢデータ）に情報付与を行う（ステップＳ１０６Ｂ）。この場合、第１の３面の色データ上においてＲＡＷデータに色があり、そのまま第１の３面の色データに使用した画素を特定することができる配置情報の付与を行う。配置情報が付与された第１の３面の色データを送信する（ステップＳ１０８Ｂ）ことにより、本発明の送信側装置１０１で行われる処理動作が終了する。
【０１３４】
図２２は本発明の画像処理システム１００における、ＲＡＷ現像対応の第１の受信側装置１０２の機能ブロック図である。
【０１３５】
本発明の第１の受信側装置１０２は、主に第１の入力部３０２Ｂ、ＲＡＷデータ抽出部３０３Ｂ、第２の前処理部３０４Ｂ、第２の同時化処理部３０６Ｂ、第１の後処理部３０８Ｂ、画像データ記録部または表示部３１０Ｂ、情報抽出部３１２Ｂ、および制御部３１４Ｂから構成されている。
【０１３６】
送信側装置１０１から出力された転送データは、第１の受信側装置１０２の第１の入力部３０２Ｂに入力される。第１の入力部３０２Ｂに入力されたデータは、第１の３面の色データに配置情報が付与されているものである。前記配置情報は、情報抽出部３１２Ｂにより抽出され、制御部３１４Ｂへと送られる。
【０１３７】
第１の入力部３０２Ｂに入力された第１の３面の色データは、ＲＡＷデータ抽出部３０３Ｂに送られる。ＲＡＷデータ抽出部３０３Ｂでは、送信側装置１０１で行われた第１の同時化処理部２０６Ｂで、ＲＡＷデータに色があり、ＲＡＷデータをそのまま３面の色データに使用した箇所のＲＡＷデータを３面の色データから抽出し、ＲＡＷデータを生成する。すなわち、ＲＡＷデータ抽出部３０３Ｂでは、付与された配置情報に基づき、３面の色データ上にもともとＲＡＷデータとしてある画素であってそのままそのデータを３面の色データに使用されたデータ（図１Ｄ（ｂ）から図１Ｄ（ｄ）上の影が付いている部分）を抽出し、もとのＲＡＷデータを生成する。
【０１３８】
第２の前処理部３０４Ｂでは、基本的に第１の前処理部２０４Ａと同様の処理をＲＡＷデータ抽出部３０３Ｂにより得られたＲＡＷデータに施す。しかし、処理条件等は適宜変更することも可能である。第２の前処理部３０４Ｂにより、ＲＡＷデータは第２の中間データとして生成される。
【０１３９】
そして、第２の同時化処理部３０６Ｂでは、第２の前処理部３０４Ｂにより生成された第２の中間データに基づいて第２の同時化処理部３０６Ｂが行われる。すなわち、単板式のカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理を行う。また、同時式への変換は、一つの態様に限られるものではない。方向性や重み付けを行った同時式への変換も行うことができるし、ユーザの求める画質および同時化処理を行う装置の性能に応じて種々の同時式への変換を行うことができる。
【０１４０】
第２の同時化処理部３０６Ｂにより生成された３面の色データは、第１の後処理部３０８Ｂへ送られる。第１の後処理部３０８Ｂでは、得られた３面の色データに対して、後処理を行う。ここでいう後処理は第１の後処理と実質的に同じである。
【０１４１】
第１の後処理部３０８Ｂで得られた表示用および／または記録用データは、画像データ記録部または表示部３１０Ｂに送られる。ここでいう、画像データ記録部とは様々な具体例が考えられ、データを保存することが可能であれば特に限定されるものではない。例えば、ハードディスクやＣＤＲＯＭ等の記録媒体や、ＵＳＢ、ＳＤカード等の記録媒体等が考えられる。一方、画像データ表示部とは、画像を表示することが可能であれば特に限定されるものではなく、様々な具体例が想定される。例えば、モニターやテレビ等である。また、携帯端末で画像データ表示を有するものも考えられる。
【０１４２】
制御部３１４Ｂは、ＲＡＷデータ抽出部３０３Ｂ、第２の前処理部３０４Ｂ、第２の同時化処理部３０６Ｂ、および第１の後処理部３０８Ｂを制御する。
【０１４３】
図２３は、本発明の第５の実施形態の受信側装置１０２で行われる処理動作について示したフローチャートである。
【０１４４】
まず、送信側装置１０１から転送されてきた第１の３面の色データおよび配置情報のデータを取得する（ステップＳ２００Ｂ）。取得した配置情報に基づいて、第１の３面の色データにからＲＡＷデータ生成する（ステップＳ２０２Ｂ）。すなわち、ＲＡＷデータ抽出処理は（ステップＳ２０２Ｂ）では、付与された配置情報に基づき、３面の色データ上にもともとＲＡＷデータとしてある色であってそのままそのデータを、３面の色データに使用されたデータを抽出し、もとのＲＡＷデータを生成する。その後、得られたＲＡＷデータは、第１の前処理を行われる（ステップＳ２０３Ｂ）。ＲＡＷデータは、第２の前処理（ステップＳ２０３Ｂ）を行われると第２の中間データが生成される。その後、得られた第２の中間データにより、第２の同時化処理を行い（ステップＳ２０４Ｂ）第２の３面の色データを得る。次に得られた第２の３面の色データに対して第１の後処理を施し（ステップＳ２０６Ｂ）、最後に画像データを記録および／または表示を行う（ステップＳ２０８Ｂ）。
【０１４５】
第５の実施形態に係る第２の受信側装置１０３は、第１の実施形態に係る第２の受信側装置１０３と装置の構成および処理動作のフローは同じである（図６および図７を参照）。
【０１４６】
第５の実施形態では、特に、第１の受信側装置１０２のＲＡＷデータ抽出部３０３Ｂ、第２の前処理部３０４Ｂ、および第２の同時化処理部３０６Ｂの処理により、再びＲＡＷデータより第２の３面の色データを生成する。これにより、第１の受信側装置１０２で再び、前処理（第２の前処理部３０４Ｂ）や同時化処理（第２の同時化処理部３０６Ｂ）を行えるので、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１４７】
［第６の実施形態］
図２４本発明に係る第６の実施形態の送信側装置１０１の機能ブロック図である。なお、第５の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１４８】
図２４に示す本発明に係る第６の実施形態の送信側装置１０１は、図２０に示した第５の実施形態の送信側装置１０１に比べて、復元情報取得部２０５Ｂが追加されている点で相違する。
【０１４９】
復元情報取得部２０５Ｂで得られた復元情報は制御部２１４Ｂに送られる。そして、制御部２１４Ｂは復元情報を、情報付与部２１０Ｂにて第１の３面の色データに付与する。復元情報取得部２０５Ｂで得られる復元情報は、ＲＡＷデータから第１の中間データへ復元するための情報である。ここで、送信側装置１０１において、３面の色データに配置情報および復元情報が付与されることによって、ＲＡＷ現像対応の第１の受信側装置１０２およびＲＡＷ現像非対応の第２の受信側装置１０３どちらにも対応可能なデータを出力することが可能であり、受信側装置で再び同時化処理を行うことが可能なデータを出力することが可能である。
【０１５０】
図２５は第６の実施形態の送信側装置１０１で行われる処理動作について示したフローチャートである。なお、図２１で示した第１の実施形態の送信側装置１０１の処理動作について示したフローチャートと共通する処理は同一のステップ番号を付し、その詳細な説明は省略する。
【０１５１】
図２５に示した第６の実施形態の送信側装置１０１の処理動作は、図２１に示した第５の実施形態の送信側装置１０１の処理動作に比べて、復元情報取得（ステップＳ３０２Ｂ）が追加されている。復元情報取得処理（ステップＳ３０２Ｂ）によりＲＡＷデータから第２の中間データへの復元処理のために使用する情報を得る。
【０１５２】
図２６は、第６の実施形態に係る第１の受信側装置１０２の機能ブロック図である。なお、図２２に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１５３】
図２６に示す第６の実施形態に係る第１の受信側装置１０２は、第１の復元処理部３０５Ｂが追加されている点、第２の前処理部３０４Ｂが無い点で、図２２に示された第５の実施形態に係る第１の受信側装置１０２と相違する。
【０１５４】
第１の復元処理部３０５Ｂには、ＲＡＷデータ抽出部３０３ＢからＲＡＷデータが送られてくる。第１の復元処理部３０５Ｂでは、送られてきたＲＡＷデータから第２の中間データを、復元情報を使用して生成する。例えば、ＲＡＷデータに送信側装置１０１の第１の前処理部２０４Ｂで行った処理を行い、ＲＡＷデータから中間データを生成する。そして、得られた中間データは、第２の同時化処理部３０６Ｂに送られる。
【０１５５】
図２７は、本発明の第８に係る第１の受信側装置１０２で行われる処理動作について示したフローチャートである。なお、図２３で示した第１の実施形態に係る第１の受信側装置１０２と共通する部分は、同一のステップ番号を付し、その詳細な説明は省略する。
【０１５６】
図２７に示される第１の受信側装置１０２は、図２３で示された第１の受信側装置１０２と比較すると、復元処理（ステップＳ５０２Ｂ）が追加されている点、第１の前処理（ステップＳ２０３Ｂ）が無い点で相違する。
【０１５７】
復元処理（ステップＳ５０２Ｂ）では、送付されてきたＲＡＷデータから第２の中間データを生成する処理を行う。例えば、送信側で行われた前処理と同様の処理を行うことにより、ＲＡＷデータから第２の中間データを生成することが可能である。
【０１５８】
復元処理（ステップＳ５０２Ｂ）で得られた第２の中間データは、第２の同時化処理（ステップＳ２０４Ｂ）に使用される。
【０１５９】
図２８は、第６の実施形態に係る第２の受信側装置１０３の機能ブロック図である。なお、図２６に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１６０】
図２８に示す第６の実施形態に係る第２の受信側装置１０３は、第２の復元処理部４０３Ｂ、ＲＡＷ画素補正処理部４０５Ｂ、および第２の後処理部４０７Ｂが追加されている点、第１の復元処理部３０５Ｂ、第２の同時化処理部３０６Ｂ、および第１の後処理部３０８Ｂが無い点で、図２６に示された第６の実施形態に係る第１の受信側装置１０２と相違する。
【０１６１】
第２の復元処理部４０３Ｂには、ＲＡＷデータ抽出部３０３ＢからＲＡＷデータが送られてくる。第２の復元処理部４０３Ｂでは、送られてきたＲＡＷデータから第２の中間データを、復元情報を使用して生成する。例えば、ＲＡＷデータに送信側装置１０１の第１の前処理部２０４Ｂで行った処理を行い、ＲＡＷデータから第２の中間データを生成する。そして、得られた中間データは、ＲＡＷ画素補正処理部４０５Ｂに送られる。
【０１６２】
ＲＡＷ画素補正処理部４０５Ｂでは、送信側装置１０１から送られてきた３面の色データにおいて、ＲＡＷデータの画素を中間データで置き換える処理を行う。送信側装置１０１での第１の同時化処理では、３面の色データ上において、ＲＡＷデータにある色はそのデータを使用し、ＲＡＷデータに無い色は第１の中間データを同時化処理し、補完したデータを使用して、３面の色データを生成した。第２の受信側装置１０３におけるＲＡＷ画素補正処理部４０５Ｂでは、前記ＲＡＷデータにある色はそのデータを使用した部分を、第２の復元処理で得られた第３の中間データで置き換える処理を行う。すなわち、ＲＡＷ画素補正処理部４０５Ｂでは、第１のＲＧＢデータ上にあるＲＡＷ画素を第３の中間データにより置き換える補正処理を行う。このような処理により得られた第３のＲＧＢデータによれば、より画質の良い画像をえることができる。ＲＡＷ画素補正処理を行うことにより得られた３面の色データは、第２の後処理部４０７Ｂへ送られる。
【０１６３】
図２９に示される第２の受信側装置１０３は、図２７で示された第１の受信側装置１０２と比較すると、ＲＡＷ画素補正処理（ステップＳ２０５Ｂ）が追加されている点、第２の同時化処理（ステップＳ２０４Ｂ）が無い点で相違する（図２７の２０４Ｂ）。
【０１６４】
ＲＡＷ画素補正処理（ステップＳ２０５Ｂ）では、送信側装置１０１から送られてきた第１の３面の色データ上のＲＡＷデータが使用された部分を、復元処理（ステップＳ５０２Ｂ）で得られた第２の中間データに置き換える処理を行う。
【０１６５】
第６の実施形態では、特に、第１の受信側装置１０２のＲＡＷデータ抽出部３０３Ｂ、第１の復元処理部３０５Ｂ、第２の同時化処理部３０６Ｂの処理により、再びＲＡＷデータから第２の３面の色データを生成する。これにより、第１の受信側装置１０２で再び同時化処理（第２の同時化処理部３０６Ｂ）を行えるので、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１６６】
また、第６の実施形態では、特に、第２の受信側装置１０３のＲＡＷデータ抽出部３０３Ｂ、第２の復元処理部４０３Ｂ、ＲＡＷ画素補正処理部４０５Ｂの処理により、より画質が整った３面の色データを生成する。
【０１６７】
［第７の実施形態］
図３０は本発明に係る第７の実施形態に係る送信側装置１０１の機能ブロック図である。なお、第５の実施形態（図２０参照）と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１６８】
第７の実施形態は、第５の実施形態と比較して、送信側装置１０１で別途ＲＡＷデータを出力し、そのデータを第１の受信側装置１０２の処理に利用するという点で異なる。
【０１６９】
図３０に示される本発明に係る第７の実施形態に係る送信側装置１０１と、図２０に示される第５の実施形態に係る送信側装置１０１とを比較すると、図３０ではＲＡＷデータ付与部５０２Ｂを有する点で相違する。ＲＡＷデータ付与部５０２ＢではＲＡＷデータ取得部２０２Ｂで得られたＲＡＷデータを第１の３面の色データに付与する。
【０１７０】
第７の実施形態に係る送信装置で行われる処理動作フローは図２１に示したフローと基本的に同じであるので詳細な説明は省略する。
【０１７１】
図３１は第７の実施形態に係る第１の受信側装置１０２の機能ブロック図である。なお、第５の実施形態に係る第１の受信側装置の機能ブロック図である図２２と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１７２】
図３１に示される第７の実施形態に係る第１の受信側装置１０２の機能ブロック図は、図２２に示された第５の実施形態に係る第１の受信側装置１０２の機能ブロック図と比較すると、ＲＡＷデータ選択部６０２Ｂを有する点で相違する。ＲＡＷデータ選択部６０２Ｂでは、第１の入力部３０２Ｂから送られてきたＲＡＷデータ、またはＲＡＷデータ抽出部３０３Ｂで生成されたＲＡＷデータを選択する。ＲＡＷデータ選択部６０２Ｂで選択されたＲＡＷデータは、第２の前処理部３０４Ｂへ送られる。
【０１７３】
図３２は、第７の実施形態に係る第１の受信側装置１０２の動作処理のフローチャートを示す。なお、図２３で示した第５の実施形態の送信側装置１０１の動作処理について示したフローチャートと共通する処理は同一のステップ番号を付し、その詳細な説明は省略する。
【０１７４】
図３２に記載された第７の実施形態に係る第１の受信側装置１０２の動作処理は、図２３で示された第１の実施形態の受信側装置１０２の動作処理に比べて、ＲＡＷデータ選択（ステップＳ４０２Ｂ）の処理が加えられている点、第１の前処理が無い点で相違する。ＲＡＷデータ選択（ステップＳ４０２Ｂ）とは、送信側装置１０１から送られてきたＲＡＷデータまたは復元処理により得られたＲＡＷデータを選択することをいう。選択されたＲＡＷデータは、第２の同時化処理（ステップＳ２０４Ｂ）へ送られる。
【０１７５】
第７の実施形態に係る第２の受信側装置１０３は、第１の実施形態に係る第２の受信側装置１０３と装置の構成および処理動作のフローは同じである（図６および図７を参照）。
【０１７６】
第７の実施形態では、特に、送信側装置１０１の出力部２０８Ｂの処理において、３面の色データ、配置情報、およびＲＡＷデータを出力する。これにより、第１の受信側装置１０２で行える処理の選択肢が増え、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１７７】
［第８の実施形態］
図３３は本発明に係る第８の実施形態に係る送信側装置１０１の機能ブロック図である。なお、第８の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１７８】
第８の実施形態は、第６の実施形態と比較して、送信側装置１０１で別途中間データを出力し、そのデータを第１の受信側装置１０２の処理に利用するという点で異なる。
【０１７９】
図３３に記載されている第８の実施形態に係る送信側装置１０１と、図２４に記載されている第６の実施形態に係る送信側装置１０１とは、第１の前処理部２０４Ｂで生成される第１の中間データを中間データ付与部５０３Ｂに送り、第１の３面の色データに付与する点で異なる。
【０１８０】
第８の実施形態に係る送信装置で行われる処理フローは図２５の処理フローと基本的に同じであるので、詳細な説明は省略する。
【０１８１】
図３４に示す第８の実施形態に係る第１の受信側装置１０２の機能ブロック図である。なお、図２６に示される第６の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１８２】
図３４に示される第８の実施形態に係る第１の受信側装置１０２の機能ブロック図は、図２６に示された第６の実施形態に係る第１の受信側装置１０２の機能ブロック図と比較すると、中間データ選択部６０３Ｂを有する点で相違する。中間データ選択部６０３Ｂでは、第１の入力部３０２Ｂから送られてきた第１の中間データ、または第１の復元処理部３０５Ｂで生成された第２の中間データを選択する。中間データ選択部６０３Ｂで選択された中間データは、第２の同時化処理部３０６Ｂへ送られる。
【０１８３】
図３５は、第８の実施形態に係る第１の受信側装置１０２の動作処理のフローチャートを示す。なお、図２７で示した第１の実施形態の送信側装置１０１の動作処理について示したフローチャートと共通する処理は同一のステップ番号を付し、その詳細な説明は省略する。
【０１８４】
図３５に記載された第８の実施形態に係る第１の受信側装置１０２の動作処理は、図２７で示された第６の実施形態の受信側装置１０２の動作処理に比べて、中間データ選択の処理（ステップＳ４０４Ｂ）が加えられている点で相違する。中間データ選択とは、送信側装置１０１から送られてきた第１の中間データまたは第１の復元処理で生成された第２の中間データを選択することをいう。選択された中間データは、第２の同時化処理（ステップＳ２０４Ｂ）されるべく送られる。
【０１８５】
第８の実施形態に係る第２の受信側装置１０３は、第６の実施形態に係る第２の受信側装置１０３と装置の構成および処理動作のフローは同じである（図２８および図２９を参照）ので詳細な説明は省略する。
【０１８６】
第８の実施形態では、特に、送信側装置１０１の出力部２０８Ｂの処理において、３面の色データ、配置情報、および中間データを出力する。これにより、第１の受信側装置１０２で行える処理の選択肢が増え、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１８７】
［第９の実施形態］
本発明の第９の実施形態に係る画像処理システム１００に関して説明する。第９の実施形態は、第２の実施形態と比較すると、復元情報取得手段で取得する情報がＲＡＷデータと中間データの差分データである点でより具体化されている。すなわち、第９の実施形態では、送信側装置１０１（図８参照）における復元情報取得部５０４Ａが取得する情報は、ＲＡＷデータと中間データの差分データである。差分データはＲＡＷデータと中間データを比較することに取得可能である。この差分データにより、第１の受信側装置１０２における復元処理部６０２Ａ（図１０参照）で中間データからＲＡＷデータへ変換する。
【０１８８】
第９の実施形態では、特に、送信側装置１０１の復元情報取得部２０５Ｂの処理により、ＲＡＷデータと中間データの差分データを取得する。これにより、第１の受信側装置１０２で行う復元処理（復元処理部６０２Ａ）が効率的に行え、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１８９】
また、本発明の第９他の実施形態に係る画像処理システム１００に関して説明する。第９の実施形態は、第２の実施形態と比較すると、復元情報取得手段で取得する情報が前処理の処理内容である点でより具体的である。すなわち、第９の実施形態では、送信側装置１０１における（図８参照）復元情報取得部５０４Ａが取得する情報は、前処理の処理内容のデータである。前処理の処理内容のデータを使用することにより、第１の受信側装置１０２における復元処理部６０２Ａ（図１０参照）で中間データからＲＡＷデータへ変換する。
【０１９０】
また、本発明の第９他の実施形態に係る画像処理システム１００に関して説明する。第９の実施形態では、特に、送信側装置１０１の復元情報取得部２０５Ｂの処理により、前処理の処理内容を取得する。これにより、第１の受信側装置１０２で行う復元処理（復元処理部６０２Ａ）が効率的に行え、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１９１】
本発明の第９の実施形態に係る画像処理システム１００に関して説明する。第９の実施形態は、第６の実施形態と比較すると、復元情報取得手段で取得する情報がＲＡＷデータと中間データの差分データである点でより具体的である。すなわち、第９の実施形態では、送信側装置１０１における（図２４参照）復元情報取得部２０５Ｂが取得する情報は、ＲＡＷデータと中間データの差分データである。差分データはＲＡＷデータと中間データを比較することにより取得可能である。この差分データにより、第１の受信側装置１０２における復元処理部３０５Ｂ（図２６参照）、および第２の受信側装置１０３における第２の復元処理部４０３ＢにおいてＲＡＷデータから中間データを生成する。
【０１９２】
第９の実施形態では、特に、送信側装置１０１の復元情報取得部２０５Ｂの処理により、ＲＡＷデータと中間データの差分データを取得する。これにより、第１および第２の受信側装置１０２および１０３で行う第１の復元処理部（３０５Ｂ）および第２の復元処理部（４０３Ｂ）が効率的に行え、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１９３】
本発明の第９の他の実施形態に係る画像処理システム１００に関して説明する。第９の実施形態は、第６の実施形態と比較すると、復元情報取得手段で取得する情報が第１の前処理の処理内容である点でより具体的である。すなわち、第９の実施形態では、送信側装置１０１における（図２４参照）復元情報取得部２０５Ｂが取得する情報は、第１の前処理の処理内容である。この処理内容により、第１の受信側装置１０２における復元処理部３０５Ｂ（図２６参照）、および第２の受信側装置１０３における第２の復元処理部４０３ＢにおいてＲＡＷデータから中間データを生成する。
【０１９４】
第９の実施形態では、特に、送信側装置１０１の復元情報取得部２０５Ｂの処理により、前処理の処理内容を取得する。これにより、第１および第２の受信側装置１０２および１０３で行う第１の復元処理部（３０５Ｂ）および第２の復元処理部（４０３Ｂ）が効率的に行え、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０１９５】
［第１０の実施形態］
図３６は、本発明の第１３の実施形態の画像処理システム１００における、第１の受信側装置１０２の機能ブロック図を示したものである。なお、第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０１９６】
図３６に示されている第１の受信側装置１０２の機能ブロック図は、図４に示されている第１の受信側装置１０２の機能ブロック図に比べて、第３の後処理部２０２Ｃおよび画像データ選択部２０４Ｃが加えられている点で相違する。
【０１９７】
第３の後処理部２０２Ｃは、第１の入力部３０２Ａから第１の３面の色データを受信する。第３の後処理部２０２Ｃでは、得られた第１の３面の色データに対して、後処理を行う。ここでいう後処理は第１の後処理と実質的に同じである。
【０１９８】
画像データ選択部２０４Ｃでは、第１の後処理部３０８Ａから得られる記録用または表示用画像データ、または第３の後処理部２０２Ｃから得られる記録用または表示用画像データを選択する。画像データ選択部２０４Ｃで選択されたデータは、画像データ記録部または表示部３１０Ｂへ送られる。
【０１９９】
第１０の実施形態では、特に、第１の受信側装置１０２の、第３の後処理部２０２Ｃおよび画像データ選択部２０４Ｃの処理により、２系統の画像処理を行いその結果を選択する。これにより、第１の受信側装置１０２での処理に選択肢が増えるので、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。
【０２００】
［第１１の実施形態］
図３７は、本発明の第１１の実施形態の画像処理システム１００における、送信側装置１０１の機能ブロック図を示したものである。なお、第３の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。
【０２０１】
図３７に示されている送信側装置１０１の機能ブロック図は、図１２に示されている送信側装置１０１の機能ブロック図に比べて、選択部３０２Ｃを有する点、中間データ付与部７０２Ａが無い点で相違している。選択部３０２Ｃでは、第１の同時化処理部２０６Ａから得られる第１の３面の色データ、または前処理部２０４Ａから得られる中間データを選択する。その後、選択されたデータは、出力部２０８Ａに送られる。第１１の実施形態は、適宜他の実施形態に適用することが可能である。例えば、第４の実施形態の送信側装置１０１に上記と同様の選択部３０２Ｃを設けること（第１２の実施形態）、第５の実施形態の送信側装置１０１に選択部３０２Ｃを設けること（第１３の実施形態）、第６の実施形態の送信側装置１０１に選択部３０２Ｃを設けること（第１４の実施形態）が可能である。
【０２０２】
第１１から第１４の実施形態では、特に、送信側装置１０１に選択部３０２Ｃ（第１４の実施形態の場合）を設けることにより、送信側装置１０１で出力される情報を選択することができる。これにより、送信側装置１０１の出力データの軽減をおこなうことができる。
【０２０３】
［第１５の実施形態］
図３８は、本発明の第１５の実施形態の画像処理システム１００における、第１の受信側装置１０２を示している。図３８に示される第１の受信側装置１０２は、図２６に示される第１の受信側装置１０２と比較して、ＲＡＷ画素補正処理部４０５Ｃ、第３の後処理部３０６Ｃ、および画像データ選択部２０４Ｃを備えている点で相違する。
【０２０４】
ＲＡＷ画素補正処理部４０５Ｃは、送信側装置１０１から送られてきた第１の３面の色データにおいて、ＲＡＷデータの画素を中間データで置き換える処理を行う。すなわち、ＲＡＷ画素補正処理部４０５Ｃでは、ＲＡＷデータにある色であり、第１の３面の色データにそのまま使用されたデータ（画素）（図１Ｄ（ｂ）から図１Ｄ（ｄ）で影が付いている箇所）を、第１の復元処理部（３０５Ｂ）で得られた中間データにより置き換える処理を行う。ＲＡＷ画素補正処理を行うことにより得られた第４の３面の色データは、第３の後処理部３０６Ｃへ送られる。
【０２０５】
第３の後処理部３０６Ｃでは、得られた３面の色データに対して、後処理を行う。ここでいう後処理は第１の後処理と実質的に同じである。
【０２０６】
画像データ選択部２０４Ｃでは、第１の後処理部３０８Ｂから得られる画像データ、または第３の後処理部３０６Ｃから得られる画像データを選択する。選択された画像データは、画像データ記録部または表示部３１０Ｂに送付される。
【０２０７】
第１５の実施形態では、特に、第１の受信側装置１０２に、ＲＡＷ画素補正処理部４０５Ｃ、第３の後処理部３０６Ｃ、および画像データ選択部２０４Ｃの処理により、画像データを２系統から取得し選択をする。これにより、画像データに選択の余地があるので、第１の受信側装置１０２の画像処理性能を十分に活かすことが可能であり、新規のカラーフィルタ配列に対応可能である。  
【０２０８】
［画像システムを構成する装置］
本発明の他の実施形態として、本発明の画像処理システム１００を構成する送信側装置１０１がある。また、本発明の他の実施形態として、本発明の画像処理システム１００を構成する受信側装置がある。これによれば、新規カラーフィルタ配列で得られたデータに対しても、適した処理をすることが可能であり、受信側装置の性能差が画質に与える影響を低減し、受信側装置の性能を十分に活かすことが可能である。
【０２０９】
なお、図面中に記載した制御部２１４Ａおよび２１４Ｂは、もっとも広い意味での制御を表している。
【０２１０】
また、制御部２１４Ａおよび２１４Ｂは予め決められた条件により自動的に各部を制御する場合や、ユーザが条件を入力しその条件によって各部を制御する場合等がある。
【０２１１】
図面および本文中にＲＧＢと３面の色データの一つの例をもって記載している場合があるが、３面の色データはＲＧＢデータに限定されず、画像を表現しようとするデータであればよい。
【０２１２】
図面および本文中に記載されている選択および選択部では、ユーザによって選択される場合もあるが、予め与えられた条件により自動的に行われる選択もある。
【０２１３】
以上、本発明の撮影装置の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
【０２１４】
本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０２１５】
図３９は、本発明の撮影装置の一実施形態であるスマートフォン１Ｃの外観を示すものである。図３９に示すスマートフォン１Ｃは、平板状の筐体２Ｃを備え、筐体２Ｃの一方の面に表示部としての表示パネル２１Ｃと、入力部としての操作パネル２２Ｃとが一体となった表示入力部２０Ｃを備えている。また、係る筐体２Ｃは、スピーカ３１Ｃと、マイクロホン３２Ｃ、操作部４０Ｃと、カメラ部４１Ｃとを備えている。なお、筐体２Ｃの構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０２１６】
図４０は、図３９に示すスマートフォン１Ｃの構成を示すブロック図である。図４０に示すように、スマートフォンの主たる構成要素として、無線通信部１０Ｃと、表示入力部２０Ｃと、通話部３０Ｃと、操作部４０Ｃと、カメラ部４１Ｃと、記憶部５０Ｃと、外部入出力部６０Ｃと、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部７０Ｃと、モーションセンサ部８０Ｃと、電源部９０Ｃと、主制御部１００Ｃとを備える。また、スマートフォン１Ｃの主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０２１７】
無線通信部１０Ｃは、主制御部１００Ｃの指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０２１８】
表示入力部２０Ｃは、主制御部１００Ｃの制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１Ｃと、操作パネル２２Ｃとを備える。
【０２１９】
表示パネル２１Ｃは、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２Ｃは、表示パネル２１Ｃの表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一または複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００Ｃに出力する。次いで、主制御部１００Ｃは、受信した検出信号に基づいて、表示パネル２１Ｃ上の操作位置（座標）を検出する。
【０２２０】
図３９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１Ｃの表示パネル２１Ｃと操作パネル２２Ｃとは一体となって表示入力部２０Ｃを構成しているが、操作パネル２２Ｃが表示パネル２１Ｃを完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２Ｃは、表示パネル２１Ｃ外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２Ｃは、表示パネル２１Ｃに重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１Ｃに重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０２２１】
なお、表示領域の大きさと表示パネル２１Ｃの大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２Ｃが、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２Ｃの大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル２２Ｃで採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０２２２】
通話部３０Ｃは、スピーカ３１Ｃやマイクロホン３２Ｃを備え、マイクロホン３２Ｃを通じて入力されたユーザの音声を主制御部１００Ｃにて処理可能な音声データに変換して主制御部１００Ｃに出力したり、無線通信部１０Ｃあるいは外部入出力部６０Ｃにより受信された音声データを復号してスピーカ３１Ｃから出力するものである。また、図３９に示すように、例えば、スピーカ３１Ｃを表示入力部２０Ｃが設けられた面と同じ面に搭載し、マイクロホン３２Ｃを筐体２Ｃの側面に搭載することができる。
【０２２３】
操作部４０Ｃは、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３９に示すように、操作部４０Ｃは、スマートフォン１Ｃの筐体２Ｃの側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０２２４】
記憶部５０Ｃは、主制御部１００Ｃの制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５０Ｃは、スマートフォン内蔵の内部記憶部５１Ｃと着脱自在な外部メモリスロットを有する外部記憶部５２Ｃにより構成される。なお、記憶部５０Ｃを構成するそれぞれの内部記憶部５１Ｃと外部記憶部５２Ｃは、フラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
【０２２５】
外部入出力部６０Ｃは、スマートフォン１Ｃに連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥースＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的または間接的に接続するためのものである。
【０２２６】
スマートフォン１Ｃに連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ  ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１Ｃの内部の各構成要素に伝達することや、スマートフォン１Ｃの内部のデータが外部機器に伝送されるようにすることができる。
【０２２７】
ＧＰＳ受信部７０Ｃは、主制御部１００Ｃの指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン１Ｃの緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部７０Ｃは、無線通信部１０Ｃや外部入出力部６０Ｃ（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０２２８】
モーションセンサ部８０Ｃは、例えば、３軸の加速度センサなどを備え、主制御部１００Ｃの指示にしたがって、スマートフォン１Ｃの物理的な動きを検出する。スマートフォン１Ｃの物理的な動きを検出することにより、スマートフォン１Ｃの動く方向や加速度が検出される。係る検出結果は、主制御部１００Ｃに出力されるものである。  
【０２２９】
電源部９０Ｃは、主制御部１００Ｃの指示にしたがって、スマートフォン１Ｃの各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０２３０】
主制御部１００Ｃは、マイクロプロセッサを備え、記憶部５０Ｃが記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１Ｃの各部を統括して制御するものである。また、主制御部１００Ｃは、無線通信部１０Ｃを通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０２３１】
アプリケーション処理機能は、記憶部５０Ｃが記憶するアプリケーションソフトウェアにしたがって主制御部１００Ｃが動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部６０Ｃを制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
【０２３２】
また、主制御部１００Ｃは、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０Ｃに表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００Ｃが、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２０Ｃに表示する機能のことをいう。
【０２３３】
さらに、主制御部１００Ｃは、表示パネル２１Ｃに対する表示制御と、操作部４０Ｃ、操作パネル２２Ｃを通じたユーザ操作を検出する操作検出制御を実行する。
【０２３４】
表示制御の実行により、主制御部１００Ｃは、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２１Ｃの表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０２３５】
また、操作検出制御の実行により、主制御部１００Ｃは、操作部４０Ｃを通じたユーザ操作を検出したり、操作パネル２２Ｃを通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０２３６】
さらに、操作検出制御の実行により主制御部１００Ｃは、操作パネル２２Ｃに対する操作位置が、表示パネル２１Ｃに重なる重畳部分（表示領域）か、それ以外の表示パネル２１Ｃに重ならない外縁部分（非表示領域）かを判定し、操作パネル２２Ｃの感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０２３７】
また、主制御部１００Ｃは、操作パネル２２Ｃに対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０２３８】
カメラ部４１Ｃは、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などの撮像素子１０５を用いて電子撮影するデジタルカメラである。また、カメラ部４１Ｃは、主制御部１００Ｃの制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部５０Ｃに記録したり、入出力部６０Ｃや無線通信部１０Ｃを通じて出力することができる。図３９に示すにスマートフォン１Ｃにおいて、カメラ部４１Ｃは表示入力部２０Ｃと同じ面に搭載されているが、カメラ部４１Ｃの搭載位置はこれに限らず、表示入力部２０Ｃの背面に搭載されてもよいし、あるいは、複数のカメラ部４１Ｃが搭載されてもよい。なお、複数のカメラ部４１Ｃが搭載されている場合には、撮影に供するカメラ部４１Ｃを切り替えて単独にて撮影したり、あるいは、複数のカメラ部４１Ｃを同時に使用して撮影することもできる。
【０２３９】
また、カメラ部４１Ｃはスマートフォン１Ｃの各種機能に利用することができる。例えば、表示パネル２１Ｃにカメラ部４１Ｃで取得した画像を表示することや、操作パネル２２Ｃの操作入力のひとつとして、カメラ部４１Ｃの画像を利用することができる。また、ＧＰＳ受信部７０Ｃが位置を検出する際に、カメラ部４１Ｃからの画像を参照して位置を検出することもできる。さらには、カメラ部４１Ｃからの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１Ｃのカメラ部４１Ｃの光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部４１Ｃからの画像をアプリケーションソフトウェア内で利用することもできる。
【０２４０】
その他、静止画または動画の画像データにＧＰＳ受信部７０Ｃにより取得した位置情報、マイクロホン３２Ｃにより取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０Ｃにより取得した姿勢情報等などを付加して記憶部５０Ｃに記録したり、入出力部６０Ｃや無線通信部１０Ｃを通じて出力することもできる。
【０２４１】
以上、本発明に係る画像処理システムおよび送信側装置および受信側装置の実施形態に関して説明をしてきたが、ここに記載したものは、本発明の実施形態の例示に過ぎず、これに限定されるものではない。また、説明上、部と記載したものに関しては手段も概念上含む。
【０２４２】
１００…画像処理システム、１０１…送信側装置、１０２…第１の受信側装置、１０３…第２の受信側装置、１０４…レンズ、１０５…撮像素子、２０２Ａ…ＲＡＷデータ取得部、２０２Ｂ…ＲＡＷデータ取得部、２０２Ｃ…第３の後処理部、２０４Ａ…前処理部、２０４Ｂ…第１の前処理部、２０４Ｃ…画像データ選択部、２０５Ｂ…復元情報取得部、２０６Ａ…第１の同時化処理部、２０６Ｂ…第１の同時化処理部、２０８Ａ…出力部、２０８Ｂ…出力部、２１０Ａ…情報付与部、２１０Ｂ…情報付与部、２１２Ａ…送信部、２１２Ｂ…送信部、２１４Ａ…制御部、２１４Ｂ…制御部、３０２Ａ…入力部、３０２Ｂ…入力部、３０２Ｃ…選択部、３０３Ｂ…ＲＡＷデータ抽出部、３０４Ａ…中間データ抽出部、３０４Ｂ…第２の前処理部、３０５Ａ…中間データ選択部、３０５Ｂ…第１の復元処理部、３０６Ａ…第２の同時化処理部、３０６Ｂ…第２の同時化処理部、３０６Ｃ…第３の後処理部、３０８Ａ…第１の後処理部、３０８Ｂ…第１の後処理部、３１０Ａ…表示部、３１０Ｂ…表示部、３１２Ａ…情報抽出部、３１２Ｂ…情報抽出部、３１４Ａ…制御部、３１４Ｂ…制御部、４０２Ａ…入力部、４０３Ｂ…復元処理部、４０４Ａ…第２の後処理部、４０５Ｂ…ＲＡＷ画素補正処理部、４０５Ｃ…ＲＡＷ画素補正処理部、４０６Ａ…表示部、４０７Ｂ…第２の後処理部、５０２Ａ…第１の前処理部、５０２Ｂ…ＲＡＷデータ付与部、５０３Ｂ…中間データ付与部、５０４Ａ…復元情報取得部、６０２Ａ…復元処理部、６０２Ｂ…ＲＡＷデータ選択部、６０３Ａ…ＲＡＷデータ選択部、６０３Ｂ…中間データ選択部、６０４Ａ…第２の前処理部、７０２Ａ…中間データ付与部、９０２Ａ…ＲＡＷデータ付与部、１Ｃ…スマートフォン、２Ｃ…筐体、１０Ｃ…無線通信部、２０Ｃ…表示入力部、２１Ｃ…表示パネル、２２Ｃ…操作パネル、３０Ｃ…通話部、３１Ｃ…スピーカ、３２Ｃ…マイクロホン、４０Ｃ…操作部、４１Ｃ…カメラ部、５０Ｃ…記憶部、５１Ｃ…内部記憶部、５２Ｃ…外部記憶部、６０Ｃ…入出力部、６０Ｃ…外部入出力部、７０Ｃ…受信部、７０Ｃ…ＧＰＳ受信部、８０Ｃ…モーションセンサ部、９０Ｃ…電源部、１００Ｃ…主制御部
【図１Ａ】
2013187127.tif 000003
【図１Ｂ】
2013187127.tif 000004
【図１Ｃ】
2013187127.tif 000005
【図１Ｄ】
2013187127.tif 000006
【図２】
2013187127.tif 000007
【図３】
2013187127.tif 000008
【図４】
2013187127.tif 000009
【図５】
2013187127.tif 000010
【図６】
2013187127.tif 000011
【図７】
2013187127.tif 000012
【図８】
2013187127.tif 000013
【図９】
2013187127.tif 000014
【図１０】
2013187127.tif 000015
【図１１】
2013187127.tif 000016
【図１２】
2013187127.tif 000017
【図１３】
2013187127.tif 000018
【図１４】
2013187127.tif 000019
【図１５】
2013187127.tif 000020
【図１６】
2013187127.tif 000021
【図１７】
2013187127.tif 000022
【図１８】
2013187127.tif 000023
【図１９】
2013187127.tif 000024
【図２０】
2013187127.tif 000025
【図２１】
2013187127.tif 000026
【図２２】
2013187127.tif 000027
【図２３】
2013187127.tif 000028
【図２４】
2013187127.tif 000029
【図２５】
2013187127.tif 000030
【図２６】
2013187127.tif 000031
【図２７】
2013187127.tif 000032
【図２８】
2013187127.tif 000033
【図２９】
2013187127.tif 000034
【図３０】
2013187127.tif 000035
【図３１】
2013187127.tif 000036
【図３２】
2013187127.tif 000037
【図３３】
2013187127.tif 000038
【図３４】
2013187127.tif 000039
【図３５】
2013187127.tif 000040
【図３６】
2013187127.tif 000041
【図３７】
2013187127.tif 000042
【図３８】
2013187127.tif 000043
【図３９】
2013187127.tif 000044
【図４０】
2013187127.tif 000045
【国際調査報告】
2013187127.tif 000046
2013187127.tif 000047
2013187127.tif 000048
2013187127.tif 000049