(57)【特許請求の範囲】
【請求項１】
入力部と編集部と出力部を揃えたマルチメディア印刷編集装置と、マルチメディアデータを再生するための再生識別情報を印刷しているマルチメディア印刷物と、マルチメディア印刷物からマルチメディアデータを再生するためのマルチメディア再生装置と、からなるマルチメディア印刷システムであって、
マルチメディア印刷編集装置の入力部は、印刷データ及び、または、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データの内、少なくとも一種類のマルチメディアデータを入力し、入力された印刷データに対し、入力された各々マルチメディアデータに対応する一個以上の再生領域を指定し、その領域をマルチメディアデータに対応付けられるために必要な一個以上のマルチメディア再生値を求める手段を有し、
マルチメディア印刷編集装置の編集部は、前記求めたマルチメディア再生値を、
網点の階調を均一化する階調特性及び情報の記述ができる網点毎の情報ドットの数を２以下とする網点特性を併せ持ち、且つ、位相変調方式によってドットパターンを構成するスクリーンコードという物理学的な情報埋め込みコードに変換する手段と、前記入力された印刷データに対した一個以上の再生領域の中に、スクリーンコードに変換されたマルチメディア再生値の情報をマトリックス配置として地紋を構成する手段とを有し、
ここで、位相変調方式は、スクリーンの網点をマトリックス配置することによって構成された間隔Ｔの正方標準化格子になった画像データを｛ζｍ，ｎ｝とし、次のような公式を満たすことであり、
0004793744.tif 000007
前記の公式で、ε（ｍ，ｎ）及びδ（ｍ，ｎ）を変化することによって、｛ζｍ，ｎ｝を搬送信号とした位相変調が実現できる、
マルチメディア印刷編集装置の出力部は、前記構成した地紋が入力された印刷データを重ねて、マルチメディア再生値の情報を埋め込むことによって作成された新しい印刷データを出力し、さらにマルチメディアデータと、各マルチメディアデータ毎のマルチメディア再生値に対応付けたデータと、からなるマルチメディア再生データを作成し出力し、
マルチメディア印刷物は、前記マルチメディア印刷編集装置から出力された新しい印刷データを用いて印刷され、
マルチメディア再生装置は、前記マルチメディア印刷編集装置から出力されたマルチメディア再生データを入力されていることを特徴とするマルチメディア印刷システム。
【請求項２】
スクリーンコードは、その網点色、網点の配置方向が、視覚モデルに基づいて、スクリーンコードの近傍色を合わせて決定する手段、配置の行列の角度を４５度とする手段のうち、少なくとも一つの視覚的手段を備えることを特徴とする請求項１に記載のマルチメディア印刷システム。
【請求項３】
マルチメディア再生値が、序列形式或いは内容形式のうち一種類のマルチメディア再生値の形式であることを特徴とする請求項１に記載のマルチメディア印刷システム。
【請求項４】
スクリーンコードが、複数個スクリーンコードを用いて、情報グループの形としてマルチメディア再生値を記述する場合に、情報グループの近傍グループの配置は、該当情報グループに対して対称の形によって配置していく手段と、情報グループに属する少なくとも一つの網点を用いて、情報グループの方向を表す手段のうち、少なくとも一つの手段を備えることを特徴とする請求項１に記載のマルチメディア印刷システム。
【請求項５】
入力部と編集部と出力部を揃えたマルチメディア印刷編集装置であって、
マルチメディア印刷編集装置の入力部は、印刷データ及び、または、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データの内、少なくとも一種類のマルチメディアデータを入力し、入力された印刷データに対し、入力された各々マルチメディアデータに対応する一個以上の再生領域を指定し、その領域をマルチメディアデータに対応付けられるために必要な一個以上のマルチメディア再生値を求めるモジュールを有し、
マルチメディア印刷編集装置の編集部は、前記求めたマルチメディア再生値を、
網点の階調を均一化する階調特性及び情報の記述ができる網点毎の情報ドットの数を２以下とする網点特性を併せ持ち、且つ、位相変調方式によってドットパターンを構成するスクリーンコードという物理学的な情報埋め込みコードに変換する手段と、前記入力された印刷データに対した一個以上の再生領域の中に、スクリーンコードに変換されたマルチメディア再生値の情報をマトリックス配置として地紋を構成する手段とを有し、
ここで、位相変調方式は、スクリーンの網点をマトリックス配置することによって構成された間隔Ｔの正方標準化格子になった画像データを｛ζｍ，ｎ｝とし、次のような公式を満たすことであり、
0004793744.tif 000008
前記の公式で、ε（ｍ，ｎ）及びδ（ｍ，ｎ）を変化することによって、｛ζｍ，ｎ｝を搬送信号とした位相変調が実現できる、
マルチメディア印刷編集装置の出力部は、前記構成した地紋が入力された印刷データを重ねて、マルチメディア再生値の情報を埋め込むことによって作成された新しい印刷データを出力し、さらにマルチメディアデータと、各マルチメディアデータ毎のマルチメディア再生値に対応付けたデータと、からなるマルチメディア再生データを作成し出力することを特徴とするマルチメディア印刷編集装置。
【請求項６】
音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データのうち、少なくとも一種類のマルチメディアデータを再生できるマルチメディア再生装置であって、
マルチメディア再生装置は、マルチメディア再生データを入力するための入力手段と、マルチメディア再生データを保存するための記録手段と、マルチメディア印刷物に対した一個以上の再生領域の中に埋め込まれているスクリーンコードを認識する手段と、認識されたスクリーンコードに基づいて、該当されたマルチメディアデータを再生するための再生手段とを備えることを特徴とするマルチメディア再生装置であって、
マルチメディア再生データは、マルチメディアデータと、各マルチメディアデータ毎のマルチメディア再生値に対応付けたデータからなり、
スクリーンコードは、マルチメディア印刷物の各々マルチメディアデータに対応する一個以上の再生領域に対して、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データのうち、少なくとも一種類のマルチメディアデータを再生するためにマルチメディアデータに対応付けられた必要な一個以上のマルチメディア再生値を変換するために、網点の階調を均一化する階調特性及び情報の記述ができる網点毎の情報ドットの数を２以下とする網点特性を併せ持ち、且つ、位相変調方式によってドットパターンを構成する物理的な情報埋め込みコードであり、
また、位相変調方式は、スクリーンの網点をマトリックス配置することによって構成された間隔Ｔの正方標準化格子になった画像データを｛ζｍ，ｎ｝とし、次のような公式を満たす、
0004793744.tif 000009
前記の公式で、ε（ｍ，ｎ）及びδ（ｍ，ｎ）を変化することによって、｛ζｍ，ｎ｝を搬送信号とした位相変調が実現できることを特徴とするマルチメディア再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、マルチメディア印刷システムとマルチメディア印刷編集装置とマルチメディア印刷物とマルチメディア再生装置に関するものである。
【背景技術】
【０００２】  近年、紙媒体の出版から電子出版へ急速に進化しているが、紙媒体の便利性、直感性や安価性などの特徴によって、紙媒体の出版は将来も存続することが否定できない。ここで、紙媒体出版の特徴と電子出版の特徴を統合することができるような新しい技術が注目される。そこで、マルチメディア印刷の技術は次世代における印刷産業革命となり得る基礎技術と言える。【０００３】  マルチメディア印刷に関した様々な構想は十年前にすでに提案されている。９０年代に「参照音声出力装置」（特許文献１参照）と「音の出る本」（特許文献２参照）という出願が多数発表された。上述の二つの出願では、書籍の任意の頁の任意の箇所に任意個数のバーコードを付加し、前記各バーコードを、メモリに登録している再生したい音声の圧縮データに対応付けられて、バーコードの読取器を用いて、読み取ったバーコードの値によって、メモリに登録された音声データを取り出し、音声を再生することによって、音の出る本を実現することができるが、バーコードはそれ自体の場所が取られ、また印刷物にとって違和感が生じる問題が残っている。【０００４】  上述の問題を改善するために、２０００年に、日本の大手企業Ｆ社は「印刷情報処理システム」（特許文献３参照）という出願を発表した。この出願では、可視印刷画像を、識別子とした非可視の二次元コードに重ね、被された二次元コードの値によって対応した音声を再生するマルチメディア印刷システムを構築することができる。しかし、この出願は非可視の二次元コードの構築方法を発表していなかったため、十分に実用できるような提案とは言えにくい。【０００５】  マルチメディア印刷に関して、別の手法も発表されている。日本の有名な会社Ｏ社により、「外国語の会話に利用可能な音声コード付き印刷物」（特許文献４参照）が発表された。この出願では、第一の言語で表現された文字を紙媒体に印刷し、同時にその文字の第一の言語とは異なる第二の言語の音声データを圧縮してドットコードへ変換し、ドットコードとして文字の近傍にも印刷すると、ドットコードの読取器を用いて、前記音声を再生することが可能である。この手法の特徴は、音声データをそのままで、紙媒体に記録することができるが、読み取りの場合に大量な音声データに対して、紙の上で広い面積の読取を避けにくいので、操作性が悪くなる欠点が残り、また、印刷の画像に対して違和感も生じる。【０００６】  最近、日本大手プリンタメーカーＲ社も「オーディオビデオ・ローカライゼーション機能を有するプリンタ」（特許文献５参照）及び「マルチメディア印刷ドライバダイアログインタフェース」（特許文献６参照）という出願を発表した。この出願では顔、発話やテキストなどのようなメディアコンテンツの特徴を分析、認識する手法と、またはメディア表現に関するバーコードの手法を用いてメディア表現を行う。この二つの出願の中で、主にマルチメディアの抽象概念や仕組みなどを述べているが、具体的な実施方法の内容は少なかった。【０００７】  非可視ドットパターンに関して、日本某大学教授は「ドットパターンを用いた情報入出力方法」（特許文献７参照）や「ドットパターンを印刷形成した媒体面の印刷構造、印刷方法、及びその読取方法」（特許文献８、９参照）など多数出願を発表した。これら出願では、元々の発想はドットパターンが設けられた媒体面上に赤外線または紫外線を照射して、より正確的にドットパターンを認識できる補正方法とドットパターンの配置法を提案したが、印刷スクリーンの特性を考慮しなかったので、ドットパターンの配置に対して、元の印刷画像の画質を落とさないことについては触れていない。また、透明の赤外線のような特殊なインキを用いて、ドットパターンを印刷する方法に対して、印刷のコストが高くなり、普通プリンタへの応用をしにくい欠点もある。さらに、ドットの配置方法において、ドット全体的な方向情報を持っていないので、読取方向の制約があり、また情報ドットは４つドット格子領域の中で配置する場合に仮想点に依存しか情報を記述できない問題に対して、情報記述の効率が悪い問題もある。【０００８】  上述のすべて出願では、マルチメディア印刷システムに対して、印刷スクリーンの特性を考慮していない為、識別子とした情報を印刷画像の中に埋め込む結果に対して、違和感があり、印刷の画質を落してしまうという問題が残っている。【０００９】
【特許文献１】特開平８−２０２２５２号公報
【特許文献２】特開平９−２１８６９５号公報
【特許文献３】特開２０００−３４８１２７号公報
【特許文献４】特開２００２−８２６０１号公報
【特許文献５】特開２００５−１００４１３号公報
【特許文献６】特開２００５−１００４１５号公報
【特許文献７】特開２００４−５６９５４７号公報
【特許文献８】特開２００７−２７４７３６号公報
【特許文献９】特開２００７−２８２２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】  本発明が解決しようとする課題は、普通プリンタの印刷精度は低いため、マルチメディア印刷を行うため、マルチメディアの識別子としたスクリーンコードの非可視化及び大量情報の埋め込みの構成方法を発見することである。【００１１】  また、本発明が解決しようとするもう一つの課題は、埋め込む対象となった印刷画像の画質を落さない埋め込み方法の提案である。
【課題を解決するための手段】
【００１２】  前記課題を解決するために、請求項１に係る発明は、入力部と編集部と出力部を揃えたマルチメディア印刷編集装置と、マルチメディアデータを再生するための再生識別情報を印刷しているマルチメディア印刷物と、マルチメディア印刷物からマルチメディアデータを再生するためのマルチメディア再生装置と、からなるマルチメディア印刷システムであって、
マルチメディア印刷編集装置の入力部は、印刷データ及び、または、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データの内、少なくとも一種類のマルチメディアデータを入力し、入力された印刷データに対し、入力された各々マルチメディアデータに対応する一個以上の再生領域を指定し、その領域をマルチメディアデータに対応付けられるために必要な一個以上のマルチメディア再生値を求める手段を有し、
マルチメディア印刷編集装置の編集部は、前記求めたマルチメディア再生値を、
網点の階調を均一化する階調特性及び情報の記述ができる網点毎の情報ドットの数を２以下とする網点特性を併せ持ち、且つ、位相変調方式によってドットパターンを構成するスクリーンコードという物理学的な情報埋め込みコードに変換する手段と、前記入力された印刷データに対した一個以上の再生領域の中に、スクリーンコードに変換されたマルチメディア再生値の情報をマトリックス配置として地紋を構成する手段とを有し、
ここで、位相変調方式は、スクリーンの網点をマトリックス配置することによって構成された間隔Ｔの正方標準化格子になった画像データを｛ζｍ，ｎ｝と、次のような公式を満たすことであり、
0004793744.tif 000002
前記の公式で、ε（ｍ，ｎ）及びδ（ｍ，ｎ）を変化することによって、｛ζｍ，ｎ｝を搬送信号とした位相変調が実現できる、
マルチメディア印刷編集装置の出力部は、前記構成した地紋が入力された印刷データを重ねて、マルチメディア再生値の情報を埋め込むことによって作成された新しい印刷データを出力し、さらにマルチメディアデータと、各マルチメディアデータ毎のマルチメディア再生値に対応付けたデータと、からなるマルチメディア再生データを作成し出力し、
マルチメディア印刷物は、前記マルチメディア印刷編集装置から出力された新しい印刷データを用いて印刷され、
マルチメディア再生装置は、前記マルチメディア印刷編集装置から出力されたマルチメディア再生データを入力されていることを特徴とするマルチメディア印刷システムである。【００１３】  請求項２に係る発明として、スクリーンコードは、その網点色、網点の配置方向が、視覚モデルに基づいて、スクリーンコードの近傍色を合わせて決定する手段、配置の行列の角度を４５度とする手段のうち、少なくとも一つの視覚的手段を備えることを特徴とする。【００１４】  このような構成とすることで、スクリーンの特徴を考慮した上に、さらに視覚的なモデルを用いて、スクリーンコードの色、サイズ、マトリックスの配置方向を決定すれば、構成されたスクリーンコードを用いて、印刷画像に埋め込んだ結果はさらに効果的である。【００１５】  請求項３に係る発明として、マルチメディア再生値が、序列形式或いは内容形式のうち一種類の形式であることを特徴とする。【００１６】  このような構成とすることで、マルチメディア再生値を座標形式とするメリットは出版物に対して先にデジタル化を行い、出版してから、必要に応じてマルチメディア編集することによってコンテンツを作れる、デメリットはスクリーンコードのコード長の限度によって出版物の頁数の制約が生じる。マルチメディア再生値を序列形式或いは内容形式とするメリットは印刷物の頁数の制約ありの問題を改善できるが、出版物を印刷する前にコンテンツを一緒に作成する必要がある。【００１７】  請求項４に係る発明として、スクリーンコードが、複数個スクリーンコードを用いて、情報グループの形としてマルチメディア再生値を記述する場合に、情報グループの近傍グループの配置は、該当情報グループに対して対称の形によって配置していく手段と、情報グループに属する少なくとも一つの網点を用いて、情報グループの方向を表す手段のうち、少なくとも一つの手段を備えることを特徴とする。【００１８】  このような構成とすることで、複数のスクリーンコードを用いて、一つのマルチメディア再生値を表すことによって、インデックスデータの容量は大きいので、多頁数の印刷物に対応できる。また、情報グループの近傍グループの対称配置することによって、近傍網点間に、誤り訂正ができ、行列のずれによって誤認識を発生しない特徴もある。さらに、各々グループは自身の方向情報を持っているので、印刷物の３６０°の回転も対応することが可能である。【００２１】スクリーンの特性を併せ持つパターン認識可能な幾何学的な埋め込みコードとしたスクリーンコードは、そのドットパターンの構成が、ドットの配置に対し、異なる位置によって配置する手段、異なる方向によって配置する手段、異なる形状によって配置する手段を指すことである。【００２２】  このような構成とすることで、全体的な幾何学的なドットパターンに対して、スクリーンの特性を併せ持つパターン認識可能な幾何学的な埋め込みコードとしたスクリーンコードのドットパターンを構成し、スクリーンの特性を幾何学的なドットパターンの特性と統合して、情報埋め込みコードとして応用する結果、印刷画像の画質を落さないのである。【００２３】スクリーンの特性を併せ持つパターン認識可能な物理学的な埋め込みコードとしたス��リーンコードは、そのドットパターンの構成が、ドットの配置に対し、異なる変調方式によって配置する手段、位相変調方式によって配置する手段、異なる搬送方向によって配置する手段を指すことである。【００２４】  このような構成とすることで、幾何学的なドットパターンと同様に、全体的な物理学的ドットパターンに対して、スクリーンの特徴を併せ持つことを可能とする物理学的ドットパターンを構成し、スクリーンの特性を物理学的ドットパターンの特性と統合して、情報埋め込みコードとして応用する結果、印刷画像の画質を落さない特徴を持っている。【００２５】  また、請求項５に係る発明は、入力部と編集部と出力部を揃えたマルチメディア印刷編集装置であって、
マルチメディア印刷編集装置の入力部は、印刷データ及び、または、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データの内、少なくとも一種類のマルチメディアデータを入力し、入力された印刷データに対し、入力された各々マルチメディアデータに対応する一個以上の再生領域を指定し、その領域をマルチメディアデータに対応付けられるために必要な一個以上のマルチメディア再生値を求めるモジュールを有し、
マルチメディア印刷編集装置の編集部は、前記求めたマルチメディア再生値を、
網点の階調を均一化する階調特性及び情報の記述ができる網点毎の情報ドットの数を２以下とする網点特性を併せ持ち、且つ、位相変調方式によってドットパターンを構成するスクリーンコードという物理学的な情報埋め込みコードに変換する手段と、前記入力された印刷データに対した一個以上の再生領域の中に、スクリーンコードに変換されたマルチメディア再生値の情報をマトリックス配置として地紋を構成する手段とを有し、
ここで、位相変調方式は、スクリーンの網点をマトリックス配置することによって構成された間隔Ｔの正方標準化格子になった画像データを｛ζｍ，ｎ｝とし、次のような公式を満たすことであり、
0004793744.tif 000003
前記の公式で、ε（ｍ，ｎ）及びδ（ｍ，ｎ）を変化することによって、｛ζｍ，ｎ｝を搬送信号とした位相変調が実現できる、
マルチメディア印刷編集装置の出力部は、前記構成した地紋が入力された印刷データを重ねて、マルチメディア再生値の情報を埋め込むことによって作成された新しい印刷データを出力し、さらにマルチメディアデータと、各マルチメディアデータ毎のマルチメディア再生値に対応付けたデータと、からなるマルチメディア再生データを作成し出力することを特徴とするマルチメディア印刷編集装置である。【００２６】  音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データのうち、少なくとも一種類のマルチメディアデータを再生できるマルチメディア印刷物であって、
マルチメディア印刷物は、各々マルチメディアデータに対応する一個以上の再生領域を有し、その領域では、変換されたスクリーンコードがマトリックス配置として地紋を構成し、前記入力された印刷画像を重ねて印刷することによって情報が埋め込まれていることを特徴とするマルチメディア印刷物であって、
スクリーンコードは、マルチメディアデータを再生するために、マルチメディアデータに対応付けする必要な一個以上のマルチメディア再生値を変換するために、網点の階調を均一化する階調特性及び情報の記述ができる網点毎の情報ドットの数を２以下とする網点特性を併せ持ち、且つ、位相変調方式によってドットパターンを構成する物理的な情報埋め込みコードであり、
また、位相変調方式は、スクリーンの網点をマトリックス配置することによって構成された間隔Ｔの正方標準化格子になった画像データを｛ζｍ，ｎ｝とし、次のような公式を満たす、
0004793744.tif 000004
前記の公式で、ε（ｍ，ｎ）及びδ（ｍ，ｎ）を変化することによって、｛ζｍ，ｎ｝を搬送信号とした位相変調が実現できることを特徴とするマルチメディア印刷物である。【００２７】  また、請求項６に係る発明は、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データのうち、少なくとも一種類のマルチメディアデータを再生できるマルチメディア再生装置であって、
マルチメディア再生装置は、マルチメディア再生データを入力するための入力手段と、マルチメディア再生データを保存するための記録手段と、マルチメディア印刷物に対した一個以上の再生領域の中に埋め込まれているスクリーンコードを認識する手段と、認識されたスクリーンコードに基づいて、該当されたマルチメディアデータを再生するための再生手段とを備えることを特徴とするマルチメディア再生装置であって、
マルチメディア再生データは、マルチメディアデータと、各マルチメディアデータ毎のマルチメディア再生値に対応付けたデータからなり、
スクリーンコードは、マルチメディア印刷物の各々マルチメディアデータに対応する一個以上の再生領域に対して、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データのうち、少なくとも一種類のマルチメディアデータを再生するためにマルチメディアデータに対応付けられた必要な一個以上のマルチメディア再生値を変換するために、網点の階調を均一化する階調特性及び情報の記述ができる網点毎の情報ドットの数を２以下とする網点特性を併せ持ち、且つ、位相変調方式によってドットパターンを構成する物理的な情報埋め込みコードであり、
また、位相変調方式は、スクリーンの網点をマトリックス配置することによって構成された間隔Ｔの正方標準化格子になった画像データを｛ζｍ，ｎ｝とし、次のような公式を満たす、
0004793744.tif 000005
前記の公式で、ε（ｍ，ｎ）及びδ（ｍ，ｎ）を変化することによって、｛ζｍ，ｎ｝を搬送信号とした位相変調が実現できることを特徴とするマルチメディア再生装置。【００２８】  ここで、本発明の中で使われている言葉を以下のように定義する。
画素を、画像構成する最小単位とし、網点を、画像構成する最小単位即ち画素に対応するスクリーンの最小単位とし、網点ドットを、網点構成するドットの最小単位とし、印刷ドットを、印刷設備の印刷精度（ｄｐｉ）に関する印刷できる最小ドット（１インチ／ｄｐｉ）とする、また、網点ドットは、印刷ドットによって構成されることである。【００２９】  幾何学的な情報埋め込みコードとは、識別子を構成するドットパターンの配置に対して、異なる位置の配置、異なる方向の配置、異なる形状の配置や異なる大きさなどを総称し幾何学的なドットパターンということである。【００３０】  物理学的な情報埋め込みコードとは、識別子を構成されたドットパターンの配置に対して、異なる変調方式の配置、位相変調方式や異なる搬送方向などを総称し物理学的なドットパターンということである。【００３１】  スクリーンの網点の階調特性とは、スクリーンの網点の階調の均一化特性、即ちスクリーン網点の印刷ドット数は同様に構成されること、または、スクリーンの網点の階調の最小化特性、即ちスクリーンの網点としたすべての網点の印刷ドット数の最少化に構成されることである。【００３２】  スクリーンの網点特性とは、網点のサイズを最小化させる特性や網点の幾何学的或いは物理学的の特性などを含めた情報埋め込み性能に関連する網点の構成の特性である。【００３３】  スクリーンの網点の間隔特性とは、スクリーンの網点の一定間隔の距離によって配置すること、また、一定階調値の網点に対して、その間隔は大きければ大きいほど、スクリーンの全体の階調は小さくなり、逆に間隔が小さければ大きくなることである。【００３４】  情報埋め込み方式とは、スクリーンコードをマトリックス配置することによって、地紋を構成し、また、構成された地紋を印刷データと重ねることによって、該当領域の中にマルチメディア再生値の情報を埋め込むことである。また、スクリーンコードのある網点が印刷データの網点と重ねた場合は、スクリーンコードの網点に優位性がある、すなわち、印刷データの網点がスクリーンコードの網点の近傍へ移す手段と、或いは、印刷データの網点に優位性がある、すなわち、スクリーンコードの網点が印刷データの網点の近傍へ移す手段とを考えることもできる。【００３５】  スクリーンコードとは、スクリーンの特徴を併せ持つパターン認識の可能な幾何学的或いは物理学的な情報埋め込みコードである。【００３６】  視覚的なモデルとは、人間の目に対して、異なる色の混在の人間視覚特性と、網点のサイズの人間視覚特性、網点の配置方向の人間視覚特性などを含めた人間視覚モデルである。【００３７】  異なる色の混在の人間視覚特性とは、印刷媒体上に印刷されたある色の近傍にもう一種類の色を付けると、この二種類の色の違いによって人間の目の感度の違いである。【００３８】  網点のサイズの人間視覚特性とは、レイリー基準に基づいて計算された結果により、直径０．１ｍｍ以下の網点に対して、非可視な網点サイズとする。【００３９】  網点の配置方向の人間視覚特性とは、網点の配列に対して、その縦列を９０度、行列を０度とすると、人間の目で感じやすい、もし、その行列を４５度に回転すれば、人間の目で感じにくいという��性である。【００４０】  配置基準ドットとは、スクリーン網点を構成されているドットの中で、その網点の位置の配置基準情報、方向の配置基準情報、サイズの配置基準情報、位相の配置基準情報或いは搬送方向の配置基準情報の内、少なくとも一つの幾何学的な配置基準情報或いは物理学的な配置基準情報を持つ一つ以上の配置基準となったドットを配置基準ドットと呼ぶ。【００４１】  異なる変調方式とは、印刷スクリーン網点に対し、網点の大きさによってスクリーン網点の階調を表す方式を振幅変調スクリーン即ちＡＭスクリーンとし、網点のドットの数によってスクリーン網点の階調を表す方式を周波数変調スクリーン即ちＦＭスクリーンとする。同じ階調の網点に対し、異なる変調方式によって情報の記述を可能とする方法である。
【発明の効果】
【００４２】  本発明では、スクリーンコードを用いてマルチメディア印刷システムを構成することによって、普通印刷機だけではなく、普通プリンタでも、マルチメディア印刷を実現することが可能になった。また、提案されたマルチメディア再生値を変換するスクリーンコードは、ロバスト性が高く、認識の速度も早い、非可視化であり、埋め込まれた画像の画質を落さないという特徴がある。
【発明を実施するための最良の形態】
【００４３】  以下、添付図面を参照にしながら、本発明に係るマルチメディア印刷システムとそのマルチメディア印刷編集装置、マルチメディア印刷物の作成、マルチメディア再生装置、スクリーンコードの構成方法、スクリーンコードの埋め込み方法の最適な実施形態について詳細に説明する。【００４４】  本発明では、まず、印刷データにおいて、印刷媒体面に再生したいマルチメディアの領域に対応付けられるマルチメディア再生値を特定する可能な識別子として、印刷データに埋め込むことができる方法を提案する。【００４５】  図１は、マルチメディア印刷編集装置の構成図である。図１に示したように、印刷データ及び、音声、ビデオ、静止画像、グラフィックのうち、少なくとも一種類のマルチメディアデータを入力し、処理するマルチメディア印刷編集装置は、入力部と、編集部と、出力部を構築することである。
入力部は、入力された印刷データに対し、入力された各々マルチメディアデータに対応する一個以上の再生領域を抽出し、その領域をマルチメディアデータに対応付けるために、必要な一個以上のマルチメディア再生値を求め、
編集部は、前記求めたマルチメディア再生値を、スクリーンの階調特性、スクリーンの網点特性、スクリーンの網点間隔の特性のうち、少なくとも一つの特性を備えたスクリーンの特性を併せ持つパターン認識可能な幾何学的或いは物理学的な情報埋め込みコードとしたスクリーンコードに変換する手段と、前記変換されたスクリーンコードをマトリックス配置することによって、地紋を構成する手段と、前記構成された地紋を印刷データと重ね、該当領域の中にマルチメディア再生値の情報を埋め込んだ新しい印刷データを作成する手段とを有し、
出力部は、前記作成された新しい印刷データを出力し、マルチメディアデータと、各マルチメディアデータ毎のマルチメディア再生値に対応付けたデータと、からなるマルチメディア再生データを作成し、出力する手段とを備えることを特徴とするマルチメディア印刷編集装置である。【００４６】  図２は、本実施例でスクリーン網点のドット数を３とするスクリーンコードの例である。図２に示したように、２０１と２０２のドットを配置基準ドットとし、２０３を情報ドットとする。図２では、ａのドットパターンをマルチビット値０、ｂのドットパターンをマルチビット値１、ｃのドットパターンをマルチビット値２、ｄのドットパターンをマルチビット値３、ｅのドットパターンをマルチビット値４、ｆとｇのドットパターンを特殊なマルチビット値とする。【００４７】  そこで、情報ドット２０３は配置基準ドット２０１と２０２のドットとの位置関係の違いによって、コンピュータコード値を決める、即ちスクリーンの網点のドットの配置は異なる位置を含む幾何学的な配置によって異なるスクリーンコードのコード値を示す。【００４８】  図２に示したように、情報ドット２０３は一つ、配置基準ドット２０１と２０２は二つあるので、ドットの数だけをみると、情報ドット２０３と配置基準ドットを安易に区別できる。また、位置関係から見ると、二つの配置基準ドット２０１と２０２は並列に配置しているし、その二つのドットの距離は広い特徴を利用すれば、パターン認識をしやすい。さらに、図２のａ−ｅドットパターン即ちマルチビット値０−４の中で、任意二つのコードに対して、いかなる方向からでも比較すれば、類似形状の状態を生じないので、誤認識の問題が発生しにくい特徴もある。【００４９】  本実施方法では図２のようにドット数を３とするスクリーンコードを提案した例に対し、図３に示すように、スクリーンコードのドットの配置にとって、二次元空間での位相変調を含めた物理学的な異なる配置パターンによって、コンピュータ情報を記述することも考えられる。【００５０】  スクリーンの網点をマトリックス配置することによって構成された間隔Ｔの正方標準化格子になった画像データを｛ζｍ，ｎ｝とし、スクリーンコードの位相変調公式は次のように現れる。
0004793744.tif 000006
ここで、ε（ｍ，ｎ）及びδ（ｍ，ｎ）を変化することによって、｛ζｍ，ｎ｝を搬送信号とした位相変調が実現できる。【００５１】  上式によって、スクリーンコードとした網点のドット座標を（ｍ，ｎ）とし、コンピュータ情報をω（ω∈０，１，・・・，ｋ）とする、図３を示したように、（３０１）はｍ＝０，ｎ＝０；（３０２）はｍ＝−３，ｎ＝３；（３０３）はｍ＝０，ｎ＝３；（３０４）はｍ＝３，ｎ＝３；（３０５）はｍ＝０，ｎ＝５；（３−６）はｍ＝−３，ｎ＝５；（３０７）はｍ＝３，ｎ＝５である。【００５２】  図２に示したスクリーンコードを、図４のように一つの大きなスクリーンコードから、幾つかの小さなスクリーンコードに分割した結果とする。印刷設備の精度は高くなった場合（例２４００ｄｐｉ）に図４の左側のような大きなスクリーンコードを選んで、地紋を構成すればよい。ここで、大きなスクリーンコードのドット数は多くても、印刷設備の精度は高いので、印刷されたスクリーンコードのサイズが小さい理由で、印刷画像の画質に対し、影響は小さい。逆に印刷設備の精度が低い場合（例６００ｄｐｉ）図４の右側のように大きなスクリーンコードを分割し、複数の小さなスクリーンコードにして、地紋を構成すればよいので、スクリーンコードのドット数は少なくなり、印刷設備の精度が低くても、印刷画像の画質に対し、影響も小さい。小さいスクリーンコードのドット数は少ないので、埋め込みの情報量は少ないが、本実施方法では、複数のスクリーンコードによって一つのマルチメディア再生値を現れることを考えられる。【００５３】  マルチメディア印刷システムの一形式として、音の出る本は、図５を示しているように、従来、非可視二次元コードを用いる場合に、極小二次元コードを配列し、印刷画像と重なることしか考えない、スクリーンの特性を考慮しなかったので、同じようなドットパターンでも、同じような網点サイズでも、埋め込んだ印刷画像に対して、印刷画像の画質がかなり劣化してしまう。【００５４】  本発明では、スクリーンの特性を考慮して、パターン認識可能なスクリーンコードを用いて、図６が示している通り、スクリーンコードをスクリーンの最小単位とし、前記機能を持つ各々スクリーンコードを、スクリーンの特性と合わせて、一定間隔でマトリックスとして配列し、均一階調、また網点のドット数を最小化（例３個以下或いは４個以下）とすることによって背景地紋を構成する。ここで、スクリーンの特性を持ち、さらに均一階調、また階調値の最小化を有する背景地紋が印刷画像と重なって、マルチメディア再生値の情報を印刷画像の中に埋め込む結果、印刷画質に対して違和感がない印刷物である。【００５５】  図６に示しているように、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データのうち、少なくとも一種類のマルチメディアデータを再生できるマルチメディア印刷物である。
マルチメディア印刷物は、各々マルチメディアデータに対応する一個以上の領域を有し、その領域では、マルチメディアデータに対応付けするために必要な一個以上のマルチメディア再生値が、スクリーンの階調特性、スクリーンの網点特性、スクリーンの網点間隔の特性のうち、少なくとも一つの特性を備えたスクリーンの特性を併せ持つパターン認識可能な幾何学的或いは、物理学的な情報埋め込みコードとしたスクリーンコードに変換され、
上述変換されたスクリーンコードを、印刷データに対した一個以上の領域の中に埋め込んだ新しい印刷データを印刷していることである。
言い換えると、マルチメディア印刷物はマルチメディア再生値がスクリーンコードに変換され、地紋として印刷物の表面に印刷している。【００５６】  図７では、本発明により、提案されているスクリーンの網点のドット数を３とする７進制マルチビットスクリーンコードの主な構成例の一つである。図７のように７０１と７０２のドットを配置基準ドットとし、７０３のドットを情報ドットとする。図７の中で、ａ網点のドット配置をマルチビット値“０”とし、ｂ網点のドット配置をマルチビット値“１”とし、ｃ網点のドット配置をマルチビット値“２”とし、ｄ網点のドット配置をマルチビット値“３”とし、ｅ網点のドット配置をマルチビット値“４”とし、ｆ網点のドット配置をマルチビット値“５”とし、ｇ網点のドット配置をマルチビット値“６”とする。【００５７】  図２のスクリーンコードと比べると、レーザプリンタによく発生する紙伸びなど問題に対して、図７のスクリーンコードの構成は進化している。例図２のコードｂとｆ、コードｃとｅ、コードｄとｇは紙伸びによって情報ドット２０３に対して位置の違いは僅かであるので、誤認識の可能性は高い。図７のスクリーンコードの構成は、情報ドット７０３に対して、配置基準ドット７０１と７０２を真ん中に設定しているので、紙伸びや位置ずれによって誤認識を発生しにくいという特徴を持っている。【００５８】  図７では、コードａ、ｂ、ｃ，ｄ、ｅ、ｆとｇは異なる幾何学的な形状によって構成されたスクリーンコードと、また、コードａ、ｂ、ｃ，ｄ、ｅ、ｆとｇは情報ドット７０３の異なる幾何学的な位置によって構成されたスクリーンコードと、更に、コードｂとｅ、ｄとｇは異なる幾何学的な方向によって構成されたスクリーンコードとみなすことができる。【００５９】  また、図７では、情報ドット７０３は異なる物理学的な位相変調のドット搬送信号によって構成されたドットパターンであり、配置基準ドット７０１と７０２は二つの一定位相のドット搬送信号によって構成されたドットパターンである。さらに、コードａ、ｂ、ｃ，ｄ、ｅ、ｆとｇは二つの一定位相のドット搬送信号と位相変調のドットの搬送信号とを重ねた物理学的なスクリーンコードとみなすこともできる。【００６０】  図７に示した幾何学的或いは物理学的なドットの配置特性をスクリーン特性と併せ持つスクリーンコードに対して、スクリーンコードを構成した網点のスクリーンの特性は、異なるコード値でも、網点の階調は均一であり、また、ドットの数は少なければ少ないほど、或いは、網点の大きさは小さければ小さいほど、印刷画像に埋め込んだ結果は印刷画像に対して、影響することは少なくなるのである。【００６１】  図８では、図７の三つのドットによってスクリーンコードをスクリーンの特性に基づいてマトリックス配置することによって地紋を構成した網点の配置の例である。網点ａからｉまで二つの網点間それぞれ縦間隔をＤ、横間隔をＣとし、網点の高さをＡ、網点の幅をＢとすると、網点間の縦間隔Ｄと横間隔Ｃは、網点自身の高さＡと幅Ｂより同じまたは大きいとする。【００６２】  図８に示したスクリーンの特徴に基づいた網点のマトリックス配置においては、同じ階調の網点に対して、その網点間の間隔は広���れば、地紋全体の階調は小さい、そのメリットは地紋と印刷データが重なった時に、印刷の画像に対して、影響は小さくなる。【００６３】  ドットの数は少なければ少ないほど、また、網点の大きさは小さければ小さいほど、埋め込んだ結果は印刷画像に対して、影響することは少ないスクリーンの特性を考慮して、図９に示しているように、スクリーンの網点のドット数を２とするスクリーンコードを提案する。図９では、ドット９０１とドット９０２によって、異なる方向の幾何学的な配置を構成するスクリーンコードである。図９の中で、網点の形式ａを０、網点形式ｂを１、網点形式ｃを２とし、網点形式ｄを、方向を表わす基準網点とする。前述のようなスクリーンコードと違い、網点のドット数はただ二つのみである。スクリーンの特徴によって、埋め込む画質はアップできるが、欠点は情報量が少ないということである。【００６４】  図９の２ドット網点のスクリーンコードは、図１０のようにドット１００１とドット１００２によって異なる搬送方向の物理学的な配置を構成するスクリーンコードである。図１０の中で、網点の形式ａを搬送方向ｄ１、網点の形式ｂを搬送方向ｄ２、網点の形式ｃを搬送方向ｄ３、網点の形式ｄを搬送方向ｄ４とする。【００６５】  図１１では、本発明により提案された網点のドット数２のスクリーンコードを用いて、コンピュータ情報が現れる実施例である。図１１に示すように網点１１０１から１１０９までは一つの情報グループコードを構成する、ここでは、網点１１０１から１１０７まではそれぞれ０、１、２を表わす独立７個情報コード、そのインデックス範囲は３７＝２１８７である。網点１１０８と網点１１０９はこの情報埋め込みグループの方向及び情報埋め込みグループ構成の標識を表わされている、即ち網点１１０８と網点１１０９を見つければ、該当情報埋め込みグループのすべて情報網点を特定することができ、また網点１１０８と網点１１０９の方向に基づいて情報グループコードに属するすべてのスクリーンコードの網点の方向を認識することもできる。【００６６】  本発明では、前述のようなスクリーンコードの情報量をアップするために、図１２に示されるように、網点のドット数を４とする２０進制のマルチビットのスクリーンコードも提案する。図１２のように１２０１と１２０２のドットを配置基準ドットとし、１２０３と１２０４のドットを情報ドットとする。図１２の中で、ａ網点のドット配置をマルチビット値“０”とし、ｂ網点のドット配置をマルチビット値“１”とし、ｃ網点のドット配置をマルチビット値“２”とし、ｄ網点のドット配置をマルチビット値“３”とし、ｅ網点のドット配置をマルチビット値“４”とし、ｆ網点のドット配置をマルチビット値“５”とし、ｇ網点のドット配置をマルチビット値“６”とし、ｈ網点のドット配置をマルチビット値“７”とし、ｉ網点のドット配置をマルチビット値“８”とし、ｊ網点のドット配置をマルチビット値“９”とし、ｋ網点のドット配置をマルチビット値“Ａ”とし、ｌ網点の配置をマルチビット値“Ｂ”とし、ｍ網点のドット配置をマルチビット値“Ｃ”とし、ｎ網点のドット配置をマルチビット値“Ｄ”とし、ｏ網点のドット配置をマルチビット値“Ｅ”��し、ｐ網点のドット配置をマルチビット値“Ｆ”とし、ｑ網点のドット配置をマルチビット値“Ｇ”とし、ｒ網点のドット配置をマルチビット値“Ｈ”とし、ｓ網点のドット配置をマルチビット値“Ｉ”とし、ｔ網点のドット配置をマルチビット値“Ｊ”とする。【００６７】  図７に示した三つのドットのスクリーンコードと同様に、図１２のようなコードａ、ｂ、ｃ，ｄ、ｅ、ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｐ，ｑ，ｒ，ｓとｔは異なる幾何学的な形状によって構成されたスクリーンコードと、或いは、コードａ、ｂ、ｃ，ｄ、ｅ、ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｐ，ｑ，ｒ，ｓとｔは情報ドット１２０３と１２０４の異なる幾何学的な位置によって構成されたスクリーンコードと、或いは、コードａとｐ、ｇとｒ、コードｃとｎ、コードｄとｈ、ｊとｍ、コードｅとｌ、コードｆとｑ、ｏとｔ、コードｋとｓは異なる幾何学的な方向によって構成されたスクリーンコードとみなすことができる。【００６８】  また、図７に示した三つのドットのスクリーンコードと同様に、図１２のようなコードａ、ｂ、ｃ，ｄ、ｅ、ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｐ，ｑ，ｒ，ｓとｔは情報ドット１２０３と１２０４の異なる物理学的な位相変調のドット搬送信号によって構成されたドットパターンと、配置基準ドット１２０１と１２０２の二つの一定位相のドット搬送信号によって構成されたドットパターンとを重ねた物理学的なスクリーンコードとみなすこともできる。【００６９】  さらに、図７に示した三つのドットのスクリーンコードと同様に、図１２に示したスクリーンコードは、スクリーンの特性を併せ持つパターン認識可能な幾何学的或いは物理学的な情報埋め込みコードの構成であり、換言すれば、幾何学的或いは物理学的なコードの構成の上にスクリーン特性を付加した情報埋め込みコードである。スクリーンコードを構成した網点のスクリーンの特徴は、異なるコード値でも、網点の階調はすべて均一になる。また、スクリーンコードの記録情報量を確保した上に、情報ドット数は少なければ少ないほど、また、網点の大きさは小さければ小さいほど、埋め込みの結果は印刷画像に対して、影響が少ない特性を利用した。【００７０】  図１３では、図１２に示した四つのドットのスクリーンコードをスクリーンの特性に基づいてマトリックス配置することによって地紋を構成した網点の配置の例である。スクリーン特性を考慮したスクリーンコードの配置方法に対して、図１３に示しているように、四つのスクリーンコード網点を一つの情報コード即ち一つの情報グループとして配置する、四つのドットのスクリーンコードの網点の大きさは図７に示された三つのドットのスクリーンコードの大きさと同じとし、それぞれ二つの網点間の間隔をすべて均一とし、また、二つの網点間の間隔を網点自身のサイズ以上とする。【００７１】  スクリーンコードは３６０度回転しても、パターン認識を可能とするために、四つのスクリーンコード網点を構成された情報グループに対して、一つのスクリーンコードの網点を９０度回転して、情報グループの方向と四つのスクリーンコード網点のグループ構成を現れることが可能になった。さらに、近傍情報グループを図１３のように該���グループの四つの方向に対して、それぞれ対称して配置していくこととする、そのメリットは近傍四つのスクリーンコードの網点の値は同様また一定値になるため、パターン認識する時に近傍三つの以上のコード値が検出されれば、正確な認識結果が判定できるので、誤り訂正の機能の効果を得ることができる。【００７６】  マルチメディア再生値の形式を図１４のようにマルチメディアデータに対応する領域の座標とする。例は図１４に示された印刷データに対してそれぞれ鶏、兎、鳥、馬、羊、犬六領域を抽出され、例鶏のマルチメディア再生値（ｘ，ｙ）はｘ１≦ｘ≦ｘ２、ｙ１≦ｙ≦ｙ２である。他の兎や鳥など領域のマルチメディア再生値は同じように類推すればよい。【００７７】  次にマルチメディア再生値形式を図１５のようにマルチメディアデータに対応する領域の序列とする。例図１５では、鶏領域のマルチメディア再生値は１、兎領域のマルチメディア再生値は２である、鳥や馬など領域のマルチメディア再生値は同じように類推すればよい。【００７８】  再生領域の抽出ステップ（Ｓ２）は、入力された印刷データに対し、マルチメディアを再生したい各々の画像の領域を抽出する。再生領域の抽出方式は、印刷データの形式とマルチメディア再生値の形式との二つの形式によって決める。
マルチメディア再生値の形式は領域の序列形式或いは領域の内容形式の場合に、印刷データの形式は普通画像の形式に対して、画像の輪郭を抽出すればよい、印刷データの形式はベクトル画像の形式に対して、ベクトル画像の輪郭を抽出すればよい、印刷データの形式は複数のベクトル画像の形式に対して、複数のベクトル画像を合体して、複数のベクトル画像合体した輪郭を抽出すればよい。
マルチメディア再生値の形式は画像領域の座標形式の場合に、印刷データの形式は普通画像の形式でも、ベクトルの形式でも、印刷データは該当座標の座標範囲を求めればよい。【００７９】  以下、図１に示した本発明のマルチメディア印刷システムに関する主にマルチメディア印刷編集装置の実施方法についてさらに詳細に説明する。
マルチメディア印刷編集装置は、印刷データ及び、または、音声、ビデオ、静止画像を含めたマルチメディアデータを入力する入力部と、マルチメディア再生値が、スクリーンの階調特性、スクリーンの網点特性、スクリーンの網点間隔の特性のうち、少なくとも一つの特性を備えたスクリーンの特性を併せ持つパターン認識可能な幾何学的或いは物理学的な情報埋め込みコードとしたスクリーンコードに変換され、前記入力された印刷データに対した一個以上の領域の中に、スクリーンコードに変換されたマルチメディア再生値の情報を埋め込んで、新しい印刷データを作成する編集部と、マルチメディア印刷物を作成するための新しい印刷データを出力し、マルチメディア印刷物からマルチメディアデータを再生するためのマルチメディア再生データを作成し出力する出力部を備えることである。
マルチメディア印刷物は、前記マルチメディア印刷編集装置から出力された新しい印刷データを用いて印刷されることである。
マルチメディア再生装置は、前記マルチメディア印刷編集装置から出力されたマルチメディア再生データを入力されていることである。
マルチメディア印刷システムは、上記入力部と編集部と出力部を揃えたマルチメディア印刷編集装置と、マルチメディアデータを再生するための再生識別情報を印刷しているマルチメディア印刷物と、マルチメディア印刷物からマルチメディアデータを再生するためのマルチメディア再生装置とを含むことである。
具体的な処理の流れについて次の図１７に示したように説明する。【００８０】  入力部において、次のステップ（Ｓ１）からステップ（Ｓ３）まで、処理を行う。入力ステップ（Ｓ１）は、印刷データとマルチメディアデータを入力する。ここで、印刷データの入力方法は直接にメモリやハードデスクなど電子データ記録装置から読取することができるし、プリンタのドライバから印刷データを取り出すこともできる。【００８１】  また、印刷データの種類はドキュメント、画像、グラフィックやベクトル画像などを指す。
図１８に示したように、印刷媒体（２００１）、マルチメディア再生領域（２００２）とする、また、マルチメディアデータの形式を音声データ（２００３）、画像データ（２００４）、グラフィックデータ（２００５）、ビデオデータ（２０−６）、光を変化させる制御値データ（２００７）、香り、気体の変化させる制御値データ（１８０８）や機械の運動させる制御値データ（２００９）などすべて電子データ形式を含めることとする。上述の光を変化させる制御値データ（２００７）、香り、気体の変化させる制御値データ（２００８）や機械の運動させる制御値データ（２００９）に対して、基本的にマルチメディア制御データの形として入力することができるので、他の類似マルチメディアデータの形式への対応も可能となる。【００８２】  再生領域の抽出ステップ（Ｓ２）は、入力された印刷データに対し、マルチメディアを再生したい各々の画像の領域を抽出する。再生領域の抽出方式は、印刷データの形式とマルチメディア再生値の形式との二つ形式によって決める。
マルチメディア再生値の形式は領域の序列形式或いは領域の内容形式の場合に、印刷データの形式は普通画像の形式に対して、画像の輪郭を抽出すればよい、印刷データの形式はベクトル画像の形式に対して、ベクトル画像の輪郭を抽出すればよい、印刷データの形式は複数のベクトル画像の形式に対して、複数のベクトル画像を合体して、複数のベクトル画像合体した輪郭を抽出すればよい。
マルチメディア再生値の形式は画像領域の座標形式の場合に、印刷データの形式は普通画像の形式でも、ベクトルの形式でも、印刷データは該当座標の座標範囲を求めればよい。【００８３】  マルチメディア再生値の算出ステップ（Ｓ３）は前ステップに抽出された各々領域の該当マルチメディア再生値の形式を決める。マルチメディア再生値は次のように座標形式、序列形式、内容形式の三種類がある。
例はマルチメディア再生値を座標形式とすれば、該当領域の座標範囲即ちｘとｙのそれぞれの範囲とし、マルチメディア再生値を序列形式とすれば、該当領域の順番値とし、マルチメディア再生値を内容形式とすれば、該当領域の内容コード値とすることである。【００８４】  編集部において、次のステップ（Ｓ４）からステップ（Ｓ６）まで、処理を行う。
スクリーンコード変換ステップ（Ｓ４）は、上記に求めたマルチメディア再生値を、スクリーンの特性を併せ持つパターン認識可能な幾何学的或いは物理学的な情報埋め込みコードとしたスクリーンコードに変換し、前記変換されたスクリーンコードをスクリーンの特性に基づいてマトリックス配置することによって地紋を構成する。【００８５】  ここで、スクリーンの特性を併せ持つパターン認識可能な情報埋め込みコードを、スクリーンの特性を併せ持つ光学読取可能な情報埋め込むコードと言い換えることができる。即ちパターン認識可能な情報埋め込みコードの意味は光学読取可能な情報埋め込みコードと同じ意味である。【００８６】  また、そこで、スクリーンの特性を併せ持つパターン認識可能な埋め込みコードの意味は印刷媒体上に情報を記述できる幾何学的或いは物理学的なドットパターンに対してスクリーンの特性を付加したことである、そこで、スクリーンの特性を考慮した幾何学的或いは物理学的なドットパターンは従来のドットパターンと比べると、情報記述と情報埋め込みの二つのメリットがあるので、スクリーンの特性を併せ持つパターン認識可能な情報埋め込みコードは、すてに公知された単に異なる位置、方向や形状などの配置を含めた従来の幾何学的なドットパターンと比べると進化したことが分る。【００８７】  さらに、本ステップでは、スクリーンの特性を、併せ持つパターン認識可能な情報埋め込みコードとしたスクリーンコードに対して、スクリーンの特性の階調特性において、スクリーンコードの網点をすべて均一化されたことを、スクリーンの特性の網点特性において、スクリーンコードを構成された網点のドット数はマルチメディア再生値情報量の必要を応じて、１ドット、２ドット、３ドット或いは４ドットで選ぶことが可能であるので、網点の最小化をされたことを備えさせる。【００８８】  情報の埋め込みステップ（Ｓ５）は、前記変換されたスクリーンコードをマトリックスとして配置する。同じ階調を持つ各々網点に対し、網点の間隔が広ければスクリーンの全体階調が薄くなるスクリーンの特徴を利用して、各々網点の間隔がアプリケーションの制約を考慮して、自身サイズの数倍の間で選択する方がよいが、もっと大量な情報を埋め込む場合は、各々網点の間隔が小さくなっても良い。【００８９】  スクリーンコードのマトリックス配置する場合に普通に縦列を９０度と、横行を０度とすることはできるが、人間の視覚的モデルを考慮して、配置の行列を４５度に回転するほうがよい。【００９０】  上記、スクリーンの特性の網点特性は実際に人間の視覚的モデルの網点の大きさの特性と一致されているので、スクリーンコートの構成は人間の視覚的モデルの網点の大きさの特性を満たしていることを言える。【００９１】  スクリーンコードのマトリックス配置に対して、スクリーンコードの色を白黒とする場合に、構成された地紋を黒色とする、Ｃ、Ｍ、Ｙ、Ｋ印刷データに対して黒色Ｋを使わず、Ｃ、Ｍ、Ｙ色によって黒色を表わし、スクリーンコードの地紋を黒色Ｋ版として処理する。【００９２】  スクリーンコードをカラー情報として埋め込む場合に、上記のステップ（Ｓ５）によって構成された地紋の各々スクリーンコードの色を、視覚的モ��ルに基づいて、構成された地紋の各々スクリーンコードの色をスクリーンコードの配置近傍の色によって決める。例配置の近傍色は白い場合に、スクリーンコードの色を黄色と、配置の近傍色は黒い場合に、スクリーンコードの色を白色とすればよい。【００９３】  スクリーンコードのカラー情報として埋め込むメリットは印刷データに対して、印刷データの画質に対して与える影響が最も少なくなる。【００９４】  印刷媒体上にマルチメディアの再生を該当していない領域に対して、地紋全体的なバランスがよくなるため、マルチメディア再生値以外スクリーンコードによって、埋め込むことが考えられるが、該当していない領域に対して、スクリーンコードを埋め込まなくでもいい。【００９５】  新しい印刷データの作成（Ｓ６）では、前記入力された印刷データにスクリーンコードに変換されたマルチメディア再生値の情報を埋め込むことによって新しい印刷データを作成する。
ここで、情報埋め込みの方法について、スクリーンコードをマトリックス配置してから、印刷データと重ねて、情報を埋め込む方法を考えるし、印刷データと重ねた場合に、スクリーンコードの網点に該当されている場所に対して、印刷データの網点はあれば、印刷データの網点をスクリーンコードの網点の近傍へ移す方法と、或いは印刷データと重ねた場合に、スクリーンコードの網点に該当されている場所に対して、印刷データの網点はあれば、スクリーンコードの網点を印刷データの網点の近傍へ移す方法とを考える。【００９６】  出力部において、次のステップ（Ｓ７）からステップ（Ｓ８）まで、処理を行う。
再生データの作成のステップ（Ｓ７）は、各々再生領域に対して、そのマルチメディア再生値を再生したいマルチメディアデータに対応付けられるデータを作成する。【００９７】    上記図１２で提案されたスクリーンコードの一つの網点に対してコード長を２０、近傍四つの網点を一コードとし、即ち一つのマルチメディア再生値が表せるので、２０４＝１６０，０００であり、また、Ａ４紙に対して、座標の最大値はＸ＝２３、Ｙ＝３３であるので、２００ページ以上の出版物を作ることができる。【００９８】  ここで、マルチメディア再生装置の詳細処理内容について、次のように説明する。
音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データのうち、少なくとも一種類のマルチメディアデータを再生できるマルチメディア再生装置であって、
マルチメディア再生装置は、マルチメディア再生データを入力するための入力手段と、マルチメディア再生データを保存するための記録手段と、マルチメディア印刷物に対した一個以上の領域の中に埋め込まれているスクリーンコードを認識する手段と、認識されたスクリーンコードに基づいて、該当されたマルチメディアデータを再生するための再生手段とを備えることを特徴とするマルチメディア再生装置であって、
マルチメディア再生データは、マルチメディアデータと、各マルチメディアデータ毎のマルチメディア再生値に対応付けたデータと、からなり、
スクリーンコードは、マルチメディア印刷物の各々マルチメディアデータに対応する一個以上の領域に対して、音声、ビデオ、静止画像、グラフィック、マルチメディア制御値データのうち、少なくとも一種類のマルチメディアデータを再生するためにマルチメディアデータに対応付けられた必要な一個以上のマルチメディア再生値をスクリーンの階調特性、スクリーンの網点特性、スクリーンの網点間隔の特性のうち、少なくとも一つの特性を備えたスクリーンの特性を併せ持つパターン認識可能な幾何学的或いは、物理学的な情報埋め込みコードに変換したスクリーンコードである。
ここで、マルチメディア印刷編集装置から、マルチメディア再生装置へマルチメディア再生データを入力する場合に、マルチメディア印刷編集装置とマルチメディア再生装置とのインタフェースを通じて、入力する方法や、メモリカードを通じて入力する方法や、或いは通信・ネットワークなどを通じて入力する方法がある。
【産業利用上の可能性】
【００９９】  本発明を導入して、マルチメディア印刷によって、従来の紙媒体出版と電子媒体出版を統合することができる新しい印刷ビジネス展開が可能になる。語学教材や音楽の資料などに対して、上記提案されたマルチメディア再生装置を用いて、本の上にタッチすれば音声が出る、また、カタログやプレゼンなどの資料に、マルチメディア再生装置を用いて、タッチすればその関連の詳細ビデオやアニメなどマルチメディアをその場で再生することもできる。
【０１００】  マルチメディア印刷を早く普及するために、次のようなビジネスモデルを提案する。
図１９に示されたように、普通印刷データを本発明で提案されたマルチメディア印刷編集装置に入力すると、マルチメディア印刷編集装置は上記座標形式によって、入力された印刷データに対して、印刷媒体の座標情報を埋め込んでから、新しい印刷データとして出力し、デジタル化されたマルチメディア印刷物（ａ）を作ることができる。
【０１０１】例は、上記図１２で提案されたスクリーンコードの一つの網点に対してコード長を２０、近傍四つ網点を一コードとし、即ち一つのマルチメディア再生値が表せるので、２０４＝１６０，０００であり、また、Ａ４紙に対して、座標の最大値はＸ＝２３、Ｙ＝３３であるので、２００ページ以上の出版物を作ることができる。
【０１０２】図２０では、上記デジタル化され、出版したマルチメディア印刷物（ａ）に対して、図２０のように、スキャナーを用いて、上記提案されたマルチメディア印刷編集装置に入力する、マルチメディア印刷編集装置は入力されたマルチメディア印刷物（ａ）の画像に対して、座標データを認識し、該当されたマルチメディア再生領域に対して、マルチメディアデータに対応付けられ、マルチメディア再生データを構成する。
【０１０３】  前記構成されたマルチメディア再生データをマルチメディア再生装置（ｂ）のインタフェースを通じて、マルチメディア再生装置（ｂ）の内臓メモリに入力するか、または外付けメモリに差込んで、そのメモリをマルチメディア再生装置（ｂ）に取り込むこともできる。
【０１０４】  前記マルチメディア再生データを持っているマルチメディア再生装置（ｂ）を用いて、前記デジタル化されたマルチメディア印刷物（ａ）の上にタッチすれば、マルチメディアデータの再生が可能になる。
【図面の簡単な説明】
【０１０５】
【図１】マルチメディア印刷編集装置の構成を示す図である。
【図２】網点のドット数を３とするスクリーンコードの表現を示す図である。
【図３】位相変調によって物理学的なスクリーンコードの表現を示す図である。
【図４】スクリーンコードを分割した結果を示す図である。
【図５】スクリーンの特性を考慮しなかった地紋の表現を示す図である。
【図６】スクリーンの特性を考慮した地紋の表現を示す図である。
【図７】網点のドット数を３とする新しいスクリーンコードの表現を示す図である。
【図８】マトリックス配置することによって地紋の構成例を示す図である。
【図９】網点のドット数を２とするスクリーンコードの表現を示す図である。
【図１０】異なる搬送方向の物理学的なスクリーンコードの表現を示す図である。
【図１１】網点のドット数２の情報グループコードの構成例を示す図である。
【図１２】網点のドット数を４とするスクリーンコードの表現を示す図である。
【図１３】近傍グループに対して対称して配置する方法を示す図である。
【図１４】マルチメディア再生値の形式を座標とする表現を示す図である。
【図１５】マルチメディア再生値の形式を序列とする表現を示す図である。
【図１６】マルチメディア再生値の形式を内容とする表現を示す図である。
【図１７】マルチメディア印刷編集装置の処理流れを示す図である。
【図１８】マルチメディアの形式を示す図である。
【図１９】印刷物のデジタル化の方法を示す図である。
【図２０】デジタル化されたマルチメディア印刷物に対してマルチメディア印刷システムの構成を示す図である。
【図１】
0004793744.tif 000010
【図２】
0004793744.tif 000011
【図３】
0004793744.tif 000012
【図４】
0004793744.tif 000013
【図５】
0004793744.tif 000014
【図６】
0004793744.tif 000015
【図７】
0004793744.tif 000016
【図８】
0004793744.tif 000017
【図９】
0004793744.tif 000018
【図１０】
0004793744.tif 000019
【図１１】
0004793744.tif 000020
【図１２】
0004793744.tif 000021
【図１３】
0004793744.tif 000022
【図１４】
0004793744.tif 000023
【図１５】
0004793744.tif 000024
【図１６】
0004793744.tif 000025
【図１７】
0004793744.tif 000026
【図１８】
0004793744.tif 000027
【図１９】
0004793744.tif 000028
【図２０】
0004793744.tif 000029