(57)【特許請求の範囲】
【請求項１】
複数のストロークからなる線画を入力する線画入力操作子、
音声を収録する音声収録手段、
前記線画入力操作子の操作により入力された各ストロークの入力順もしくは入力時刻を計測する計測手段、および
前記線画入力操作子の操作により入力された各ストロークを表わす各ストローク情報と、前記計測手段により計測された、各ストロークの入力順もしくは入力時刻と、該各ストロークの入力期間中に前記音声収録手段により収録された各音声を表わす各音声情報とが互いに対応づけられてなる複合情報を生成する複合情報生成手段を備えたことを特徴とする複合情報処理装置。
【請求項２】
表示画面上に、複数のストロークから構成される線画を描画する線画描画手段、
音声を発音する発音手段、および
線画を構成する各ストロークを表わす各ストローク情報と、該各ストロークの入力順もしくは入力時刻と、該各ストロークに対応する各音声を表わす各音声情報とが互いに対応づけられてなる複合情報を構成する前記入力順もしくは入力時刻に基づいて互いに対応をとりながら、前記複合情報を構成する前記各ストローク情報に基づく各ストロークを前記表示画面に表示させるとともに、前記複合情報を構成する前記各音声情報に基づく各音声を前記発音手段により発音させる出力制御手段を備えたことを特徴とする複合情報処理装置。
【請求項３】
前記出力制御手段が、前記各ストロークに対応する前記各音声の持続時間に応じた描画速度で、該各ストロークを前記表示画面に描画させるものであることを特徴とする請求項２記載の複合情報処理装置。
【請求項４】
前記出力制御手段が、前記各ストロークに対応する前記各音声が前記発音手段により発音されている間、発音中の音声に対応する前記表示画面上のストロークを、該表示画面上に表示されている他のストロークの属性とは異なる属性で表示させるものであることを特徴とする請求項２記載の複合情報処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像と音声との双方を入力して画像と音声との双方からなる複合情報を生成する複合情報処理装置、および、その複合情報に基づいて画像と音声の双方を出力する複合情報処理装置に関する。
【０００２】
【従来の技術】
従来、文章や画像、図表のような視覚的情報と、発話音声や音楽、効果音のような音声情報は、もっぱら各々の情報モードに切りわけて取り扱われて来た。例えば紙メディアに代表される視覚的情報は、物理的な郵送やファクシミリ、ＬＡＮ上での電子メール、テレックス、電報などの通信経路で流通し、利用者には紙面、もしくは、電子的あるいは光学的表示画面の上に提供されてきた。その一方で音声情報は、電話やラジオ、ＴＶ等の放送などの通信路、およびＣＤ、テープなどのオフライン媒体を中心に伝達、流通されてきた。
【０００３】
しかし近年、複合情報、すなわち視覚情報と音声情報との双方を合わせてデジタル記録し保存・再利用するものとして、パーソナルコンピュータ上でのマルチメディア媒体（あるいはシステム）が普及しはじめている。例えばアップルコンピューターではクイックタイム（Ｑｕｉｃｋ  Ｔｉｍｅ）というソフトウエアがマッキントッシュ上に蓄積された音声と動画を再生できるし、いくつかの動画を作るアプリケーションソフトも発売されている。
【０００４】
特に最近では、ネットワーク上の通信端末から視覚情報と音声情報との双方をアクセスする技術も開発されつつある。特開平４−１０５１１４号公報に記載された装置においては、音声に加えて画像情報をスキャナで取り込み、タブレット等のポインティング・デバイスで双方向に操作することのできる通信端末が報告されている。
【０００５】
また、プレゼンテーション用として、音声つきの簡単なアニメーションを編集するソフトウエア・ツールも開発されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来のマルチメディア・コミュニケーションにおいては、利用者が作成した画像情報と音声情報は、ページ単位と文章単位のように、比較的大きな単位で分離され、保存、伝達されてきた。そのため、ボイスつき電子メールなどでは、文書中に音声を挿入することはできるが、画像の作成過程と音声の説明とを関連づけることはできない。したがって、例えば地図を使って道順を説明したり、設計図を用いて機械の動作を説明しようとするときに、音声情報が画像情報のどこを指示しているかが明確にならず、マルチメディアとしての効力が十分には発揮されない。
【０００７】
前述のアニメーション編集ソフトウエア・ツールには、画像を細かく制御する機能も提供されているものがあるが、これを利用するためには多くの時間をかけて細かい編集作業を遂行する必要があり、利用者がリアルタイムに記録、通信に利用するための道具としてまったく不向きである。
本発明は、上記事情に鑑み、目と耳との双方から統一のとれた情報を受け取ることのできるシステムに適した複合情報処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成する本発明の第１の複合情報処理装置は、
（１−１）複数のストロークからなる線画を入力する線画入力操作子
（１−２）音声を収録する音声収録手段
（１−３）線画入力操作子の操作により入力された各ストロークの入力順もしくは入力時刻を計測する計測手段
（１−４）線画入力操作子の操作により入力された各ストロークを表わす各ストローク情報と、上記計測手段により計測された、各ストロークの入力順もしくは入力時刻と、各ストロークの入力期間中に音声収録手段により収録された各音声を表わす各音声情報とが互いに対応づけられてなる複合情報を生成する複合情報生成手段
を備えたことを特徴とする。
【０００９】
また上記目的を達成する本発明の第２の複合情報処理装置は、              （２−１）表示画面上に、複数のストロークから構成される線画を描画する線画描画手段
（２−２）音声を発音する発音手段
（２−３）線画を構成する各ストロークを表わす各ストローク情報と、各ストロークの入力順もしくは入力時刻と、各ストロークに対応する各音声を表わす各音声情報とが互いに対応づけられてなる複合情報を構成する上記入力順もしくは入力時刻に基づいて互いに対応をとりながら、上記複合情報を構成する各ストローク情報に基づく各ストロークを上記表示画面に表示させるとともに、上記複合情報を構成する各音声情報に基づく各音声を上記発音手段により発音させる出力制御手段
を備えたことを特徴とする。
【００１０】
ここで、上記本発明の第２の複合情報処理装置において、上記出力制御手段が、各ストロークに対応する各音声の持続時間に応じた描画速度で、各ストロークを表示画面に描画させるものであることが好ましい。
あるいは、上記本発明の第２の複合情報処理装置において、上記出力制御手段が、各ストロークに対応する各音声が上記発音手段により発音されている間、発音中の音声に対応する上記表示画面上のストロークを、その表示画面上に表示されている他のストロークの属性とは異なる属性で表示させるものであることも好ましい態様である。
【００１１】
ここで、上記「入力時刻」は、典型的にはそのストロークの入力開始時刻を指すが、必ずしも入力開始時刻である必要はなく、そのストロークの入力終了時刻、あるいはそのストロークの入力開始時刻と入力終了時刻との中間の時刻等、そのストロークに対応する代表的な時刻であればよい。また、その「入力時刻」は、絶対的な時刻であってもよいが、それに限られず、例えば一連のストロークのうちの最初のストロークの入力開始時刻を基準とした相対時刻、あるいは一連のストロークの入力順と、直前に入力されたストロークの入力開始時刻ないし入力終了時刻と今回入力されたストロークの入力開始時刻との間の時間差との組合せ等、ストロークとストロークとの入力タイミングの関係がわかる情報であればどのようなものであってもよい。
【００１２】
尚、上記本発明の第１の複合情報処理装置は複合情報の入力を担当する装置であり、また本発明の第２の複合情報処理装置は複合情報の出力を担当する装置であり、これら第１及び第２の複合情報処理装置を統合して複合情報の入力と出力との双方を担う１つの複合情報処理装置を構成してもよい。ただし、１つの装置に統合する必要はなく、それら第１の複合情報処理装置及び第２の複合情報処理装置が通信回線を経由して互いに接続されていてもよく、あるいは独立に設置され、例えばフロッピィディスク、ＭＯ等の可搬性記憶媒体を介して複合情報を授受するものであってもよい。
【００１３】
【作用】
本発明の第１の複合情報処理装置によれば、各ストロークの入力順ないし入力時刻を計測し、各ストロークと、各ストロークの入力順ないし入力時刻と、各音声とが互いに対応づけられた複合情報を生成するものであるため、情報出力にあたっては、目と耳とで対応のとれた情報を受けることができ、表現力と理解性の高いコミュニケーション手段が実現される。
【００１４】
また、本発明の第２の複合情報処理装置は、複合情報中の入力順ないし入力時刻に基づいて、ストロークと音声を、互いに対応をとりながら出力するものであり、上述の、表現力と理解性の高いコミュニケーションが実現する。
本発明の第２の複合情報処理装置における、ストロークと音声との対応のとり方は、特定の対応のとり方に限定されるものではないが、例えば、音声の持続時間に応じた描画速度で、その音声に対応するストロークを表示画面上に描画すると、描画中のストロークが発音中の音声に対応することが直ちに認識される。あるいは描画速度で対応をとる代わりに、例えば発音中の音声に対応するストロークを他のストロークとは別の属性で表示すること、例えば別の色で表示したり、太く表示したり、そのストロークをブリンクさせたりすることによっても、発音中の音声に対応するストロークが容易に認識される。
【００１５】
尚、本発明では、ストロークと音声とを対応させているため、入力時に例えばストロークの開始よりも遅れて音声が入力された場合であっても、出力時にはストロークの出力開始時刻と音声出力開始時刻とを容易に揃えることができ、入力時に、出力時を想定して対応する音声の入力時点を精密に管理する必要はなく、使い勝手の良い装置ないしシステムが実現する。
【００１６】
【実施例】
以下、本発明の実施例について説明する。ここでは、本発明の本実施例として、ポインティングデバイスによるフリーハンド作画と音声による解説入力を同期させて記録する装置について説明する。
図１は、本発明の第１の複合情報処理装置および本発明の第２の複合情報処理装置の双方の構成を含む複合情報処理装置の一実施例のブロック図である。
【００１７】
詳細説明は後述することとし、ここでは、先ず、この図１を参照して、本実施例の全体についてその概要を説明する。ストローク入力部１には、マウス（図示せず）が備えられており、そのマウスを操作することにより、線画を構成する各ストロークを表すストロークデータが入力される。また、音声入力部２では音声が収録されて音声情報が入力される。
【００１８】
ストローク入力部１から入力されたストローク情報には、パケットデータ構成部３においてクロック／カウンタ１０から得る現在時刻のデータが添付される。この時刻情報つきストロークデータは、そのストロークを入力する際に収録された音声データとともに、書き出し処理部４により、複合情報ファイル５に出力される。複合情報ファイル５は描画ストローク・データと音声データとを時刻データつきでキュー形式のシーケンス・データにしたものである。複合情報ファイル５に記録された複合情報は、読み出し処理部６により読み出され、複合情報を構成する各時刻情報つきデータが記録時と同じ時間間隔で生起される。これは、時刻調整部７が、クロック／カウンタ１０を参照しながら、各時刻情報つきデータを管理することによって実行される。生起時刻となって起動された各時刻情報つきデータは、ストローク描画部８もしくは音声再生部９に伝送される。
【００１９】
図２は、図１にブロックで示す複合情報ファイルを構成する、ストロークデータと音声データのファイル構造を示す図である。
まず入力されたストロークデータを保存するストローク・データ領域から説明する。
パケット・インデックスは、各ストロークの生起順序を示す続き番号である。これは、音声のデータ・パケットにも同様に添付されており、２系統の通し番号となっている。ストローク描画起動時刻は、ストロークの入力が生起した時刻を、ストローク入力作業開始時点からの経過時間で記録するものである。計時に関して、ストロークの入力はマウス左ボタンのクリックをもって生起したものとする。経路点リストはストロークを形成する座標点の集合であり、ストローク点数はそのストロークを構成する座標点の数である。音声参照ポインタは、同時に再生する音声データ・パケットのアドレス（パケット・インデックス）を指定するものである。対応する音声が存在しない場合はヌル・ポインタが記録される。
【００２０】
次に、音声データ領域を説明する。
パケット・インデックスは、各音声データの生起順序を示す続き番号である。描画参照ポインタは、同時に表示すべきストロークデータ・パケットのインデックスを指定するものである。対応するストロークが存在しない場合はヌル・ポインタが記録される。音声データ長には、音声信号データのバイト長を記録しており、音声再生の所要時間はこれから容易に算出される。本実施例では圧縮の手段を用いていないが、記憶容量の効率的活用のために音声データ圧縮を行う場合は、この音声データ長に加えて音声持続時間を与えれば同様に装置が構成される。
【００２１】
次に、本実施例の動作を説明する。
図３は、複合情報ファイルに描画データと音声データとを関連づけて記録する処理順序を示すフローチャートである。
記録作業が開始されると（Ｓ２１）、マウスクリックおよびそれに続く音声入力の待ち状態にはいる。始めてのストローク・データ入力があった時点、すなわちここではマウスボタンの最初の押下を記録作業の起点としてクロックを初期化する。以降発生したデータ入力はすべてこの起点からの経過時間により記録される。マウス左ボタンが押下される（Ｓ２２）と、ストローク座標点の入力処理（Ｓ２３）に移り、そこでは、ストロークの開始点と一定時間間隔でサンプリングされた経路座標点とのデータセットを得ることで入力処理を完了する。ストローク情報の採取処理終了はマウス左ボタンの解放をもってする（Ｓ２４）。
【００２２】
ストローク情報の採取開始と同時に、音声データのサンプリングが並行して起動される。まずデータの入力待ち状態（Ｓ２５）に入り、あらかじめ定めた閾値強度Ａｔｈ以上の信号が閾値区間Ｔｔｈ１以上連続して入力されると、Ａ／Ｄコンバータ（図示せず）からのデータ・サンプリングを開始する（Ｓ２６）。音声のサンプリング終了については、開始と同様に、閾値強度Ａｔｈ以下の信号が閾値区間Ｔｔｈ２以上連続すると無音区間と判断し、データ・サンプリングを終了する（Ｓ２７）。
【００２３】
ストローク・データと音声データからなるデータ・パケットはＲＡＭ上のパケットバッファ１１へ書き込まれる（Ｓ２９）。ストロークデータの採取と音声データの採取が共に完了した時点で、図１に示すクロック／カウンタ１０のカウンタがインクリメントされる（Ｓ２８）。無音区間を検知する前にマウスがオフされ、その後未だ無音区間を検知していない時点で、次のストローク入力すなわちマウス左ボタンが押下されてもその押下は無効化されている。
【００２４】
また、音声（発話）を伴わないストローク入力は、そのストロークパケットが、音声データが空の音声データ・パケットを参照することによって表現される。一方、描画を伴わない音声情報を表現するために、入力待ち時点（Ｓ２５）においてマウス右ボタンが押下されると、その右ボタンが押下されている期間だけ音声信号のサンプリングがなされる。この音声データ・パケットは、空のストローク・パケットを参照するように組み合わされて記憶される。
【００２５】
ストローク入力もしくは音声入力が終わると、上述したようにカウンタがインクリメントされ（Ｓ２８）、パケットバッファ１１内のストロークパケットおよび音声パケットが、このカウンタ値をパケット・インデックスとし、生起時刻とともに、ディスク上の複合情報ファイル５（図１参照）に出力される（Ｓ２９）。
【００２６】
以上のデータ入力、入力データの複合情報ファイル５への書き出しの過程は、操作終了シグナルを受け取るまで（Ｓ３０）繰り返される。このシグナルはマウス左ボタンにて終了ボタンアイコンをクリックすることにより発生する。操作終了シグナルを受け取るとファイルの終了（ＥＯＦ）を複合情報ファイル５に書き込んで終了する（Ｓ３１）。
【００２７】
次に、複合情報ファイル５に記録された複合情報を再生出力する再生出力モードについて説明する。
本実施例における複合情報の再生出力モードには、リアルタイムモードとステップモードが用意されており、リアルタイムモードでは、ストローク記録時の時間経過をそのまま再現し、ステップモードでは、ストローク記録の再生順序にしたがって、ステップ式に描画／音声を再生出力する。
【００２８】
図４は、リアルタイムモードによる再生を示すフローチャートである。
リアルタイム再生では、各パケットを、記録時に入力された時刻に再生しなければならないので、まず再生処理の起点となる時点においてクロックを初期化する（Ｓ４１）。以降の各パケット再生は、このクロックとの比較によって進行する。
【００２９】
先ずストロークパケットが複合情報ファイル５より読み込まれ（Ｓ４３）、続いてこのパケットに対応する音声パケットが読み出され（Ｓ４４）、パケットバッファ１０に保持される。次に、パケットに記載されたストローク描画起動時刻とクロックとが比較され、出力デバイスへのデータ送信起動時刻に達するのを待つ（Ｓ４５）。起動時刻になると、描画および音声再生に必要なデータがストローク描画部８および音声再生部９（図１参照）に送信され、ストローク描画と音声再生が行なわれる（Ｓ４６，Ｓ４７）。このリアルタイム再生は、パケットの終了を示すＥＯＦを検知するか（Ｓ４２）、利用者からの割り込み終了シグナルを特定のキーにより受けるまで（Ｓ４８）繰り返される。
【００３０】
続いて、図５により、ステップモードにおける再生処理を説明する。
リアルタイム再生と同様に、まず複合情報ファイル５からパケット・データをフェッチしパケットバッファ１１に保持する（Ｓ５２，Ｓ５３）。パケットデータはタイプ別にストローク描画部８および音声再生部９（図１参照）に送信され、利用者からの進行を指示するシグナルを待つ（Ｓ５４）。指示はキー入力もしくはマウス左ボタンの押下による。指示が入力されると、ストローク描画と音声再生が行なわれる（Ｓ５５，Ｓ５６）。以上のステップは、複合情報ファイル５からそのパケットのデータをすべて読み出すか（Ｓ５１）、あるいは利用者からの中止指示があるまで（Ｓ５７）、繰り返される。中止シグナルの受信は、リアルタイム再生の場合と同様である。
【００３１】
図６は、ストローク描画の詳細を示すフローチャートである。
ストローク描画にあたっては、先ず、パケットバッファ１１から音声データ長およびストローク点数が読み出される（Ｓ６１，図２参照）。
１）  表示モード（Ｓ６３）が描画時間制御の場合には、音声の持続時間Ｔｓを均等に割った時間間隔Ｔｉｎｔ  にて経路点を結び、描画される。そのために、まず音声データ長Ｌｖ（ｂｙｔｅ）は、実時間Ｔｓ（ｓｅｃ）へ変換される（Ｓ６２）。この変換はＡ／Ｄ変換のサンプリング周波数Ｎ（Ｈｚ）、データ幅Ｗｂを用いて、式Ｔｓ＝Ｌｖ／（Ｎ×Ｗｂ）によって簡単に求まる。この音声持続時間をストローク経路点の数Ｌで均等に割り（Ｓ６４）、求められた平均値Ｔｉｎｔ＝Ｔｓ／Ｌを描画速度として、経路点をスプライン補間しながら、曲線を形成する（Ｓ６５）。
【００３２】
２）  表示モードとして、ストロークの特殊描画が選択されているときには、特殊属性｛ブリンク、線幅・線種変更、色変更｝のいずれかあるいは組合せがセットされ（Ｓ６６）、ストロークを描画する（Ｓ６７）。このときの経路点はパラメータバッファ７０に保存される。その描画したストロークに対応する音声出力が終了すると、その描画ストロークと同じストロークの属性が標準値にセットされ（Ｓ６８）その同じストロークがパラメータバッファから読み出されて再度描画される（Ｓ６９）。
【００３３】
図７は、本実施例による複合情報処理装置がネットワーク上に配置された状態を示す図である。
本複合情報処理装置は、高機能ワークステーション７０を用いて実現したり、携帯情報端末７１に実装することが可能である。それらがＬＡＮあるいは公衆回線を通じて通信することにより、従来のように、画像のみ、あるいは音声のみ、さらには単純な音声つき画像によっても困難であった複合情報の有機的なコミュニケーションが可能となる。
【００３４】
ここで、上述の実施例は、本発明にいう第１の複合情報処理装置の機能と本発明にいう第２の複合情報処理装置の機能との双方の機能をもった複合情報処理装置であるが、本発明にいう第１の複合情報処理装置と本発明にいう第２複合情報処理装置は１つの装置に統合されている必要はない。例えば図７に示すワークステーション７０は線画と音声の入力のみを担当するもの（本発明にいう第１の複合情報処理装置の一例）であって、携帯情報端末７１は線画と音声の出力のみを担当するもの（本発明にいう第２の複合情報処理装置の一例）であってもよい。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、簡便な操作性のもとで、経時的に細かく同期した線画情報と音声情報とを記録、伝達することができ、表現力と理解性のより高いコミュニケーションが可能となる。
【図面の簡単な説明】
【図１】本発明の実施例のブロック図である。
【図２】データ・パケットの構成図である。
【図３】記録処理を示すフローチャートである。
【図４】リアルタイムモードでの再生処理を示すフローチャートである。
【図５】ステップモードでの再生処理を示すフローチャートである。
【図６】ストローク描画の詳細動作を示すフローチャートである。
【図７】複合情報処理装置がネットワーク上に配置された状態を示す図である。
【符号の説明】
１    ストローク入力部
２    音声入力部
３    パケットデータ構成部
４    書き出し処理部
５    複合情報ファイル
６    読み出し処理部
７    時刻調整部
８    ストローク描画部
９    音声再生部
１０  クロック／カウンタ
１１  パケットバッファ
１２  パラメータバッファ
【図１】
0003552338.tif 000002
【図２】
0003552338.tif 000003
【図３】
0003552338.tif 000004
【図４】
0003552338.tif 000005
【図５】
0003552338.tif 000006
【図６】
0003552338.tif 000007
【図７】
0003552338.tif 000008