(57)【特許請求の範囲】
【請求項１】
ビデオストリームを入力するように構成されたメディア入力機構と、
ユーザ入力を受け入れるように構成されたユーザ入力機構と、
前記ユーザが前記ユーザ入力機構を介して、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行えるように構成された制御装置と、
前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、
各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、
を有するノート作成装置
を有するノート作成システム。
【請求項２】
前記ビデオストリームを参照するタイムライン内で、イベントを識別及び索引付けするタイムライン装置
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。
【請求項３】
前記操作及び注釈づけの少なくとも１つにタイムスタンプをつけ前記ビデオストリームにリンクさせるように構成されたタイムスタンプ機構
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。
【請求項４】
取得された静止フレームに対するユーザ入力を受け入れ、
前記ユーザ入力を前記フレームの注釈として適用する、
ように構成された注釈づけ装置
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。
【請求項５】
ノートページ上のインクストロークを取得するように構成されたインクストローク取得装置と、
各ノートページを、前記ビデオストリームのセグメントと、前記ノート作成装置に表示されるイベントのタイムライン内の位置との一方にリンクさせるように構成された索引付け装置と、
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。
【請求項６】
各ノートページとリンクするタイムラインが、対応するノートページ上で取得されたインクストロークと同色で表されることを特徴とする、
請求項５に記載のノート作成システム。
【請求項７】
前記ノート作成装置で表示するためにビデオストリームのチャンネルを識別及び選択するように構成されたチャンネル機構
を更に有する前記ノート作成装置である、
請求項１に記載のノート作成システム。
【請求項８】
各入力がビデオストリームの１つに対応するマルチメディア入力を供給するノートサーバー、
を更に有する、請求項１に記載のノート作成システム。
【請求項９】
ビデオストリームを入力するステップと、
前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、
前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、
前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、
前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、
を有する、ノート作成方法。
【請求項１０】
前記入力ビデオストリーム内のノート作成イベントのタイムラインを構成するステップ、
を更に有する、請求項９に記載のノート作成方法。
【請求項１１】
取得された静止フレームに対するユーザ入力を受け入れ、
前記ユーザ入力を前記フレームの注釈として適用するステップを更に有する、請求項９に記載のノート作成方法。
【請求項１２】
入力チャンネルから前記入力ビデオストリームを選択するステップを更に有する、請求項９に記載のノート作成方法。
【請求項１３】
ソース装置から入力されたデータを取得するように構成された取得装置と、取得したデータを配信するように構成された配信装置と、
を有する、ノートサーバーと、
前記ノートサーバーから配信されたビデオストリームを入力するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成されたユーザ入力機構と、前記ユーザが前記ユーザ入力を介して、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行えるように構成された制御装置と、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、を有するノート作成装置と、
を有するノート作成システム。
【請求項１４】
前記ノートサーバーは、取得したデータにおける変更を認識するとともに、変更データ以外の全データの配信を阻止するように構成されたスライド変更認識装置を更に有する、請求項１３に記載のノート作成システム。
【請求項１５】
前記ノートサーバーは、取得したデータに対応する１組のメタデータを構築するように構成されたメタデータ装置であって、対応する取得データと関係して前記メタデータが配信される前記メタデータ装置を更に有する、請求項１４に記載のノート作成システム。
【請求項１６】
前記ノートサーバーが、各メディア入力を保存するとともに、前記ノート作成装置による再生に対して各メディア入力を使用可能にするように、更に構成された、請求項１３に記載のノート作成システム。
【請求項１７】
前記ノートサーバーは、取得したデータ及び前記ソース装置に記憶されたデータの一方におけるセグメント又は位置への索引を認識するように構成された索引認識装置であって、前記ノート作成装置への、前記セグメント又は前記位置で開始する、前記取得したデータ及び前記ソース装置に記憶された前記データの一方の配信を開始するように更に構成された前記索引認識装置を更に有する、請求項１３に記載のノート作成システム。
【請求項１８】
ノートサーバーとノート作成装置を有するノート作成システムの動作方法であって、
前記ノートサーバーは、ソース装置からビデオデータを取得するステップと、前記取得されたビデオデータを前記ノート作成装置に配信するステップと、を有し、
前記ノート作成装置は、前記ノートサーバーから配信されたビデオストリームを入力するステップと、前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、を有する、
ノート作成システムの動作方法。
【請求項１９】
前記ノートサーバーは、前記取得したビデオデータにおける変化を認識し、変化したビデオデータだけを前記ノート作成装置に配信するステップを更に有する、請求項１８に記載のノート作成システムの動作方法。
【請求項２０】
前記ノートサーバーは、前記取得したビデオデータ及び前記ソース装置に格納されたビデオデータの一方の１つのセグメント又は位置への索引を取り出すステップと、索引付けされたビデオデータを前記ノート作成装置に配信するステップと、
を更に有する、請求項１８に記載のノート作成システムの動作方法。
【請求項２１】
前記ノートサーバーは、配信されるビデオデータに対応するメタデータタグを構成するステップと、対応するビデオデータと関係するメタデータタグを配信するステップと、
を更に有する、請求項１８に記載のノート作成システムの動作方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、統合型マルチメディアノート作成システムに関する。本発明は、より詳細には、デジタルビデオ及びデジタルインクを参照及びノートとして用いるノート作成システムに関する。本発明は、更に、説明ノート、ブックマーク、及び索引資料の提供にビデオ供給を用いるノート作成システムに関する。本発明は、更に、サムネイル、タイムスタンプ、及び背景写真を用いた、ノート及びビデオ供給の少なくとも一方の索引付けに関する。本発明は、更に、自動ノート作成のための、及び、ノート作成システムに資料を表示する際に帯域幅を最適化するためのフレーム率圧縮用の供給機構としての、スライド検出プロセスを有するノート作成システムに関する。
【０００２】
【従来の技術】
マルチメディアノート作成システムは、一般的に、会議中の音声及びビデオを取得し、取得した資料からスライドを作成する。（例えば、ライブボード(LiveBoard)上で実行されるシステムであるチボリ(Tivoli)がある。モラン(Moran,T.P.)、パレン(Palen,L.)、ハリソン(Harrison,S.)、チィーウ(Chiu,P.)、キンバー(Kimber,D.)、ミンネマン(Minneman,S.)、ヴァンメル(van Melle,W.)、及びゼルウェガー(Zellweger,P.)による「“私はそれを音声から得る”：マルチメディア会議記録利用のケーススタディ("I'll get that off the audio": a case study of salvaging multimedia meeting records)」 、ＣＨＩ '97ＣＭ 予稿集、ニューヨークにて開催、202−209頁、を参照)。チボリは、プレゼンテーション型の会議よりもワーク型の会議を支援するように設計されている（即ち、プレゼンテーションが行われる会議ではなく、議論が行われる会議の議事録作成に向いている）。チボリの、音声に索引付けされるインクストロークは、チボリスライド上の任意の準備資料とともに、会議についてのグループノートになる。ラップトップ型コンピュータを使用する参加者は、タイプしたテキストのコメントをチボリのスライドに“発信”してもよい（即ち、赤外線ポート、又はその他の手段によって、コメントをチボリに送信してもよい）。
【０００３】
類似の例のクラスルーム2000(Classroom 2000)では、プレゼンテーションスライドのイメージ及び音声が取得されるが、ビデオは用いられない（アバウド(Abowd,G.D.)、アトキーソン(Atkeson,C.G.)、ブラザートン(Brotherton,J.)、エンクヴィスト(Enqvist,T.)、ガレイ(Gulley,P.)、及びルモン(LeMon,J.)による「教育的設定における偏在するコンピューティングの、取得、統合、及びアクセス問題の調査(Investigating the capture, integration and access problem of ubiquitous computing in an educational setting) 」、ＣＨＩ '98学会予稿集、ＡＣＭ、ニューヨークにて開催、440−447頁、及びアバウド(Abowd,G.D.)、アトキーソン(Atkeson,C.G.)、ファインスタイン(Feinstein,A.)、フメロ(Hmelo,C.)、クーパー(Kooper,R.)、ロング(Long,S.)、ソーニー(Sawhney,N.)、及びタニ(Tani,M.)による「マルチメディアオーサリングとしての指導及び学習：クラスルーム2000プロジェクト(Teaching and learning as multimedia authoring: the classroom 2000 project)」、ＡＣＭマルチメディア '96学会予稿集、ＡＣＭ、ニューヨークにて開催、187−198頁、を参照)。更に、クラスルーム2000は、発表者がスライドを標準画像形式で準備する努力を要する。スライドはライブボード上に表示され、ノート作成は、事前にスライドをロードしたＰＤＡ装置を用いて行われる。このノートは、後から、音声及びライブボードの前で講義した教授による注釈つきのスライドと同期される。
【０００４】
更に別の例で、フォーラム(Forum)（アイザクス(Isaacs,E.)、モリス(Morris,T.)、及びロドリゲス(Rodriguez,T.K.)による「分散された聴衆に対する相互プレゼンテーションを支援するためのフォーラム(A forum for supportiong interactive presentations to distributed audiences)」、ＣＳＣＷ '94予稿集、ＡＣＭ、ニューヨークにて開催、405−416頁、を参照）は、ビデオを分散型プレゼンテーションの手段として用いるシステムである。プレゼンテーション中は、発言者を含む全員がワークステーションの前に座っている。スライドは、特定の形式で準備されなければならない。スライドにはテキスト及びマウスで描かれたマークで注釈をつけることができるが、ビデオ映像には注釈をつけられない。
【０００５】
別の例では、ストリームズ(STREAMS)（クルツ(Cruz,G.)及びヒル(Hill,R.)による「ストリームズを用いたマルチメディアイベントの取得及び再生(Capturing and playing multimedia events with STREAMS)」、ＡＣＭマルチメディア '94学会予稿集、ＡＣＭ、ニューヨークにて開催、193−200頁、を参照）は、室内カメラからのビデオを用いる、プレゼンテーション取得用のシステムである。これらのカメラは、ディスプレイ上の任意のプレゼンテーション内容を取得するためにも用いられる。この方法は、室内の活動が表示を不明瞭にするという問題を有する。レビュー中にテキストのコメントを加えることにより、取得したビデオストリームに注釈をつけられるが、プレゼンテーション中のノート作成はサポートされていない。これらのシステムでは、カメラからのライヴ映像及びプレゼンテーション資料を、対話式にノートに統合することはできない。
【０００６】
更に、幾つかのスタンドアローン型インク及び音声ノート作成システムが知られている。例えば、FXPAL（富士ゼロックス・パロアルト研究所）のダイノマイト(Dynomite)（ウィルコックス(Wilcox,L.D.)、シリット(Schilit,B.N.)、及びソーニー(Sawney,N.)による「ダイノマイト：ダイナミックに組織されたインク及び音声ノートブック(Dynomite: A dinamically Organized Ink and Audio Notebook)」、ＣＨＩ '97予稿集、ＡＣＭ、ニューヨークにて開催、186−193頁、を参照）、及び、音声記録とともに紙を用いるオーディオノートブック(Audio Notebook)（スティフルマン(Stifelman,L.)による「オーディオノートブック：構造的スピーチによる紙及びペンの対話(The Audio Notebook: Paper and Pen Interaction with Structured Speech)」、博士論文、ＭＩＴ、1997年、を参照）がある。フィロチャット(Filochat)（ホイットテーカー(Whittaker,S.)、ハイランド(Hyland,P.)、及びウィリー(Wiley,M.)による「フィロチャット：手書きノートは記録された会話へのアクセスを提供する(Filochat: handwritten notes provide access to recorded conversations)」（ＣＨＩ '94予稿集、ＡＣＭ、ニューヨークにて開催、271−276頁、を参照）は、手書きノートで音声が索引される、ペン・タブレットを有するＰＣコンピュータであり、ノータイム(NoTime)（ラミング(Lamming,M.)及びニューマン(Newman,W.)による「個人的記憶を支援するための、活動ベースの情報技術(Activity-based information technology in support of personal memory)」、技術報告書EPC-1991-103、ランクゼロックス(Rank Xerox)社、ユーロパーク(EuroPARC)、1991年、を参照）は、ユーザのインクストロークを、記録した音声又はビデオのキーとするように設計された。
【０００７】
ビデオ注釈システムも知られている。マーキー(Marquee)（ウェーバー(Weber,K.)及びプーン(Poon,A.)による「マーキー：リアルタイムのビデオロギングのためのツール(Marquee: a tool for real-time video logging)」、ＣＨＩ '94予稿集、ＡＣＭ、ニューヨークにて開催、58−64頁、を参照）は、ビデオテープを見ている間に注釈をつけるための、ペン・ベースのシステムである。マーキーのその後のバージョンは、ホェア・ワー・ウィ(WhereWereWe)マルチメディアシステムからのデジタルビデオストリームにタイムスタンプを採用する修正が加えられている（ミンネマン(Minneman,S.)、ハリソン(Harrison,S.)、ジャンセン(Janssen,B.)、クルテンバッハ(Kurtenbach,G.)、モラン(Moran,T.)、スミス、(Smith,I.)及びヴァンメル(van Melle, B.)による「共同活動の取得及びアクセスのためのツールの連合(A confederation of tools for capturing and accessing collaborative activity)」、ＡＣＭマルチメディア '95学会予稿集、ＡＣＭ、ニューヨークにて開催、523−534頁、を参照）。
【０００８】
ヴァナ(Vanna)（ハリソン(Harrison,B.)及びベーカー(Baecker,R.M.)による「ビデオ注釈及び解析システムの設計(Designing video annotation and analysis systems)」、グラフィックスインタフェース(Graphics Interface) '92、Morgan-Kaufmann刊、157−166頁、を参照）及びＥＶＡ（マッケイ(MacKay,W.E.)による「ＥＶＡ：ビデオデータの記号的解析のための実験的ビデオ注釈装置(EVA: An experimental video annotator for symbolic analysis of video data)」、SIGCHI Bulletin、21(2)、68−71頁、1989年、ACM Press刊、を参照）は、テキスト・ベースのシステムである。ビデオノーター(VideoNoter)（トリッグ(Trigg,R.)の「記録した活動を転記するためのコンピュータによる支援(Computer support for transcribing recorded activity)」、SIGCHI Bulletin、21(2)、68−71頁、1989年、ACM Press刊、を参照）は、活動（ビデオ、図、ホワイトボードへの書き込み、テキスト）の異なる流れを表示及び同期させるが、音声をテキストに転記するための又はホワイトボードから書き込みを抽出するための事後生成を必要とする。これらのシステムには、デジタルビデオではなくビデオテープを用いることに基づく設計による、制約がある。これらのシステムでは、ビデオ映像をノートに対話式に統合することはできない。シャープ(Sharp)のザウルス(Zaurus)（ザウルス操作マニュアル、シャープ株式会社、1996年発行）は、デジタルカメラが取り付けられたＰＤＡである商品である。デジタル写真を撮影して、手書きのノートにリンクさせることができる。
【０００９】
【発明が解決しようとする課題】
本発明者は、ノート作成は、ビデオを用いることでより強力にできる一般的活動であることに気がついた。本発明者は、完全に統合されたデジタルビデオ及びインクノート作成システムを提供する必要性にも気がついた。
【００１０】
従って、本発明の目的は、マルチメディアノート作成システムの提供である。
【００１１】
本発明の別の目的は、ノート作成システムに入力されたメディアストリームから取得した画像に、ユーザが注釈をつけることを可能にする、ノート作成システムの提供である。
【００１２】
本発明の更に別の目的は、ノート作成セッション中に生じる重要なイベントを識別するタイムラインを有するノート作成システムの提供である。
【００１３】
本発明の更に別の目的は、ライヴマルチメディアストリームを取得するとともに、ノート作成システムにマルチメディアストリームを供給するため、及びスライドの変更のようなイベントを自動的にタイムラインに要約するために、フレーム率圧縮を用いるノート作成システムの提供である。
【００１４】
本発明の更に別の目的は、ノート作成装置内の取得したマルチメディアストリーム内の点にユーザがブックマークをつけることを可能にすることである。
【００１５】
【課題を解決するための手段】
上記及び他の目的は、デジタルビデオ及びインクを用いるノート作成用のシステム（ノートルック(NoteLook)とも呼ばれる）によって遂行される。本発明は、少なくとも１つのライヴメディアストリームを検索するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成された少なくとも１つのユーザ入力機構と、ユーザがユーザ入力を介して、少なくとも１つのメディアストリームに、操作、暗示（注釈づけ）、及び要約の少なくとも１つを行えるように構成された制御装置と、を含むノート作成装置を含む。
【００１６】
１つの実施の形態では、ノートルックは、ペン・ベースのノートブック型コンピュータ上で実行されるクライアントアプリケーションを含む。ノートルックは、イメージの書き込み、取得、及び注釈づけのための、紙のノートのページに似た主領域を有するディスプレイを有する。アクティブ状態のビデオを見るための小さなビデオウィンドウがある。ユーザは、チャンネルを変更して異なるビデオストリームを見てもよい。ユーザは、ビデオウィンドウ内で示されているフレームを、ノートページの余白の小さなサムネイルとして又は大きな背景として取得することができる。
【００１７】
サムネイル、背景イメージ、及びインクストロークにはタイムスタンプがつけられ、ビデオへの索引を与える。ビデオソースは、ビデオ入力を有するコンピュータ上で実行されるノートルック・サーバーによって操作される。ノートルック・サーバーは、一般的に無線又は有線ネットワークを介して、ノートルック・クライアントアプリケーションに、ビデオ、音声、及びメタデータ（例えばスライド変更の時間や発言者の変更）の送信もする。マルチメディアデータのこれらのストリームは、ノートルック・サーバーによって保管され、再生中に、クライアントによってランダムにアクセス可能である。複数のノートルック・クライアント及び複数のサーバーの複数の手続きが一緒に動作可能である。ビデオソースは、室内カメラ又はドキュメントカメラから、背面プロジェクタ、ＴＶ、ＶＣＲ、又は任意のビデオストリームへのタップから、又はペン・コンピュータに取り付けられた小さな携帯カメラから、様々な方法で取得できる。
【００１８】
会議、プレゼンテーション、及び授業では、ノートルック・デジタルビデオ及びインク・ノート作成システムを用いて、発言者、室内の活動、及びプレゼンテーション資料の静止画を撮影して、それらをノートに統合できる。ブラウジング及び検索を容易にするために、撮影されたイメージ及びインクストロークにタイムスタンプをつけて、記録されたビデオにリンクさせることができる。ビデオは、ジェスチャ及び非言語的活動をとらえることができ、内容を見せることができる。ビデオは、プレゼンテーション内容を様々な形態で取得するための多用途の手段を提供する。パワーポイント(PowerPoint)のスライド、ウェブページ、オーバーヘッドプロジェクタ（ＯＨＰ）スライド、ホワイトボード、及びアニメーションやビデオのようなより動的なメディアを、全て、ビデオを用いて取得できる。
【００１９】
プレゼンテーション及びトレーニングセッション中の実演もビデオによって効果的に取得される。デジタルインク及びビデオ・ノート作成システムを有用なものにするには、室内のノート作成者及び他の参加者の邪魔にならず、発言者による準備の必要が最小でなければならない。
【００２０】
本発明の第１の態様は、ビデオストリームを入力するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成されたユーザ入力機構と、前記ユーザが前記ユーザ入力機構を介して、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行えるように構成された制御装置と、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、を有するノート作成装置を有するノート作成システムである。
本発明の第２の態様は、第１の態様において、前記ビデオストリームを参照するタイムライン内で、イベントを識別及び索引付けするタイムライン装置を更に有する前記ノート作成装置を含む。
本発明の第３の態様は、第１の態様において、前記操作及び注釈づけの少なくとも１つにタイムスタンプをつけ前記ビデオストリームにリンクさせるように構成されたタイムスタンプ機構を更に有する前記ノート作成装置を含む。
本発明の第４の態様は、第１の態様において、取得された静止フレームに対するユーザ入力を受け入れ、前記ユーザ入力を前記フレームの注釈として適用する、ように構成された注釈づけ装置を更に有する前記ノート作成装置を含む。
本発明の第５の態様は、第１の態様において、ノートページ上のインクストロークを取得するように構成されたインクストローク取得装置と、各ノートページを、前記ビデオストリームのセグメントと、前記ノート作成装置に表示されるイベントのタイムライン内の位置との一方にリンクさせるように構成された索引付け装置と、を更に有する前記ノート作成装置を含む。
本発明の第６の態様は、第５の態様において、各ノートページとリンクするタイムラインが、対応するノートページ上で取得されたインクストロークと同色で表されることを特徴とする。
本発明の第７の態様は、第１の態様において、前記ノート作成装置で表示するためにビデオストリームのチャンネルを識別及び選択するように構成されたチャンネル機構を更に有する前記ノート作成装置を含む。
本発明の第８の態様は、第１の態様において、各入力がビデオストリームの１つに対応するマルチメディア入力を供給するノートサーバー、を更に含む。
本発明の第９の態様は、ビデオストリームを入力するステップと、前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、を有する、ノート作成方法である。
本発明の第１０の態様は、第９の態様において、前記入力ビデオストリーム内のノート作成イベントのタイムラインを構成するステップ、を更に含む。
本発明の第１１の態様は、第９の態様において、取得された静止フレームに対するユーザ入力を受け入れ、前記ユーザ入力を前記フレームの注釈として適用するステップを更に含む。
本発明の第１２の態様は、第９の態様において、入力チャンネルから前記入力ビデオストリームを選択するステップを更に含む。
本発明の第１３の態様は、ソース装置から入力されたデータを取得するように構成された取得装置と、取得したデータをノート作成装置に配信するように構成された配信装置と、を有する、ノートサーバーと、前記ノートサーバーから配信されたビデオストリームを入力するように構成されたメディア入力機構と、ユーザ入力を受け入れるように構成されたユーザ入力機構と、前記ユーザが前記ユーザ入力を介して、前記ビデオストリームに注釈づけを行えるように構成された制御装置と、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するように構成された静止フレーム取得装置と、各静止フレームを前記ビデオストリーム内のセグメント又は位置にリンクさせるように構成された索引付け装置と、を有するノート作成装置と、を有するノート作成システムである。
本発明の第１４の態様は、第１３の態様において、前記ノートサーバーは、取得したデータにおける変更を認識するとともに、変更データ以外の全データの配信を阻止するように構成されたスライド変更認識装置を更に含む。
本発明の第１５の態様は、第１４の態様において、前記ノートサーバーは、取得したデータに対応する１組のメタデータを構築するように構成されたメタデータ装置であって、対応する取得データと関係して前記メタデータが配信される前記メタデータ装置を更に含む。
本発明の第１６の態様は、第１３の態様において、前記ノートサーバーが、各メディア入力を保存するとともに、前記ノート作成装置による再生に対して各メディア入力を使用可能にするように、更に構成される。
本発明の第１７の態様は、第１３の態様において、前記ノートサーバーは、取得したデータ及び前記ソース装置に記憶されたデータの一方におけるセグメント又は位置への索引を認識するように構成された索引認識装置であって、ノート作成装置への、前記セグメント又は前記位置で開始する、前記取得したデータ及び前記ソース装置に記憶された前記データの一方の配信を開始するように更に構成された前記索引認識装置を更に含む。又は、上記の態様は、第１３の態様において、取得したデータ及び前記ソース装置に記憶されたデータの一方におけるセグメント又は位置への索引を認識するように構成された索引認識装置であって、ノート作成装置への、前記セグメント又は前記位置で開始する、前記取得したデータ及び前記ソース装置に記憶された前記データの一方の配信を開始するように更に構成された前記索引認識装置を更に含んでもよい。
本発明の第１８の態様は、ノートサーバーとノート作成装置を有するノート作成システムの動作方法であって、前記ノートサーバーは、ソース装置からビデオデータを取得するステップと、前記取得されたビデオデータをノート作成装置に配信するステップと、を有し、前記ノート作成装置は、前記ノートサーバーから配信されたビデオストリームを入力するステップと、前記ビデオストリームに行われるアクションに対応するユーザ入力を受け入れるステップと、前記ユーザが入力したアクションに従って、前記ビデオストリームに操作及び注釈づけの少なくとも１つを行うステップと、前記ビデオストリーム内の連続するフレームのカラーヒストグラムを比較することにより変更されたスライドを決定し、変更されたスライドと変更されたスライドとの間のフレームを削除することにより、前記ビデオストリームから静止フレームを取得するステップと、前記静止フレームの各々を前記ビデオストリームのセグメント又は位置とリンクさせるステップと、を有する、ノート作成システムの動作方法である。
本発明の第１９の態様は、第１８の態様において、前記ノートサーバーは、前記取得したビデオデータにおける変化を認識し、変化したビデオデータだけを前記ノート作成装置に配信するステップを更に含む。
本発明の第２０の態様は、第１８の態様において、前記ノートサーバーは、前記取得したビデオデータ及び前記ソース装置に格納されたビデオデータの一方の１つのセグメント又は位置への索引を取り出すステップと、索引付けされたビデオデータを前記ノート作成装置に配信するステップと、を更に含む。
本発明の第２１の態様は、第１８の態様において、前記ノートサーバーは、配信されるビデオデータに対応するメタデータタグを構成するステップと、対応するビデオデータと関係するメタデータタグを配信するステップと、を更に含む。
【００２１】
以下の詳細説明を参照し、添付の図面と関係して考慮されることにより、本発明がよりよく理解されるにつれて、本発明の真価及び本発明に付随する長所の多くが容易に理解されよう。
【００２２】
【発明の実施の形態】
次に、図面を参照する。類似の参照番号は、同一又は対応する要素を示す。特に、図１では、ノートルック(NoteLook)・クライアントアプリケーション１１０を実行するペン・ベースのコンピュータ１００が示されている。
【００２３】
他のプラットフォームにも適用可能であるが、ペン・ベースのノートブック型コンピュータは、特に無線ネットワークとともに用いられたときに、ノート作成者及び室内の他の参加者の邪魔にならない形状ファクターを有する。
【００２４】
現在の実施の形態では、ノートルック・クライアントは、FXPAL（富士ゼロックスパロアルト研究所）ダイノマイト(Dynomite)インク及び音声ノート作成アプリケーション上に構築されている。ノートルック・クライアントは、イメージの書き込み、取得、及び注釈づけのための、紙のノートのページに似た主領域を有する。アクティブ状態のビデオを見るための小さなビデオウィンドウがある。ユーザは、チャンネルを変更して異なるビデオストリームを見たり、ビデオウィンドウ内に示されているフレームをノートページの余白の小さなサムネイルとして取得したり、又はフレームを大きな背景画像として取得してもよい。サムネイル、背景イメージ、及びインクストロークにはタイムスタンプがつけられ、ビデオへの索引を与える。
【００２５】
ビデオソースは、ビデオ入力を有するコンピュータ上で実行されるノートルック・サーバーによって操作される。ノートルック・サーバーは、無線（又は有線）ネットワークを介して、ノートルック・クライアントアプリケーションへの、ビデオ、音声、及びメタデータの送信も行う。複数のノートルック・サーバー及び複数のノートルック・クライアントの、複数の手続きが、一緒に、それも同一の装置で、動作可能である。１つの実施の形態では、サーバーは、各ビデオチャンネルに対して構成される。例えば、３つのビデオチャンネルは、３つの個別のサーバーによって操作される。サーバーは、任意の数のノートブッククライアントを扱う。ビデオソースは、室内カメラ又はドキュメントカメラから、背面プロジェクタ、ＴＶ、ＶＣＲ、又は任意のビデオストリームへのタップから、又はペン・コンピュータに取り付けられた小さな携帯カメラから、様々な方法で取得される。
【００２６】
本発明者は、スキューの発生は、プレゼンテーション内容の取得に外付けカメラを用いることによる問題であることにも気づき、少なくとも１つの実施の形態では、グラフィック及び他のプレゼンテーション資料のための、フルデジタルキャプチャを備える。
【００２７】
ノートルック・サーバーは、図２（Ａ）及び図２（Ｂ）のように、FXPALのクモ(Kumo)会議室に実装され、統合されている。１つの実施の形態では、会議室には３台の室内カメラ（２００、２０１、及び２０２）があり、各々が１つのビデオチャンネルを提供する（代替の又は遠隔の視界を有する追加のカメラもサポートされてよい）。背面プロジェクタ２１０は、プレゼンテーション内容のための、コンピュータ、ドキュメントカメラ、及びＶＣＲ/ＤＶＤ（図示せず）からくる別のチャンネルを備えている。このセットアップでは、発言者は最小限の準備をすればよい。発言者は、パワーポイント(PowerPoint)のスライド又はウェブページを有する自分のラップトップ型コンピュータのプラグを差し込んだり、ドキュメントカメラにオーバーヘッド（ＯＨＰ）スライドを供給したり、ＶＣＲでビデオテープを再生したりできる。これには、通常の業務を越える特別な準備は、あまり必要ではない。
【００２８】
ノートルックシステムの更なる特徴は、スライド変更検出を用いる自動ノート作成である。背面プロジェクタからのプレゼンテーション資料を含むビデオが解析され、スライド変更が生じる時が判断される。個々のスライドが抽出され、これらのスライドイメージを含む１組のノートページが生成される。ビデオの索引付けのために、スライド変更が生じる時間の点が、タイムライン上のマークによって表示され、ブラウジングを容易にする視覚情報を与える。
【００２９】
スライド変更検出の更なる適用例は、無線ネットワークの帯域幅を最適化するためのフレーム率圧縮である。ノートルック・サーバーは、デジタルビデオを１秒間に15又は30のフレームを取得し、再生用に格納する。スライドがそのような速度で変化することはないので（発表者が１、２分毎にスライドを変えることはあり得る）、ノートルック・サーバーが、スライド変更が生じたときだけビデオフレームを送信するのは、合理的である。
【００３０】
システムの２通りの変更例である、ノートルック２ＧＯ及びノートルック４ＴＶについて説明する。ノートルック２ＧＯは、完全に携帯可能なインク及びビデオノート作成システムである。これは、ペン・ベースのノートブック型コンピュータ上で実行される基本的ノートルック・クライアントの形態をとり、（これに）小さなビデオカメラを追加する。これは、旅のレポートや現地調査を行うために用いることができる。ノートルック４ＴＶは、ＴＶやＶＣＲからビデオが入力されるように構成された基本的ノートルック・クライアントである。これは、遠隔学習、及びビデオテープや放送ビデオの分析に用いることができる。当業者には認識されるように、上述の実施の形態はそれぞれ、明らかに、他の状況にも適用可能である。例えば、どちらも教室の設定において効果的に用いられ得る。
【００３１】
[技術的な詳細]
ノートルック・クライアントは、インク及び音声・ノート作成アプリケーションであり、ビデオウィンドウ及びビデオ操作能力を有する。現在の開発作業はWindows95/NT上で行われているが、本明細書に述べる特徴及び能力は、通常の能力を有する任意のオペレーティング・システム上で適用可能且つ開発され得る。
【００３２】
ビデオウィンドウのクローズ・アップを含むノートルックの画面３００が図３に示されており、ビデオコントロール４００が図４に示されている。ビデオウィンドウの隣には、ビデオを対話式に操作するための３つのボタンがあり、上ボタン（チャンネル変更ボタン４０５）はチャンネルを変更し、中ボタン４１０は（ビデオ映像を）ノートページの余白のサムネイルとして撮影し（即ち、取得し）、下ボタン４１５は（ビデオ映像を）大きな背景イメージとして撮影する（取得する）（即ち、注釈づけに使用可能なイメージ又は恐らく見るために拡大されるイメージ）。
【００３３】
更に、ビデオ（コントロール）ウィンドウ（４００）の左（下）側には、１組のＶＣＲタイプのコントロール４２０がある。タイムライン４２５は、ビデオの現在の時間的位置を示すためのポインタを有する。タイムラインは、ブラウジング及びリビューを容易にするために、索引情報も表示できる。
【００３４】
図４は、図３に示されているセッションから生成されたタイムライン（４２５）のクローズ・アップも示している。ユーザが、サムネイル（例えば３１０）又は背景のいずれかを撮影すると、そのイメージの小さなバージョンがタイムラインに配置される。更に、ユーザがペンで書き込みをすると、ペンの色（即ち、ペンに設定されたカラー）と同色の帯がタイムラインに配置される。
【００３５】
自動的に計算されたメタデータも表示される。例えば、図４の点線４４０は、その点でスライド変更が検出されていることを示す。ユーザは、（図３の）左上の角のビデオウィンドウ３２０で、アクティブ状態のビデオを見ることができる。
【００３６】
図５は、ノートルック・クライアント１１０を操作するための装置の１つの可能な実施例のブロック図を示している。メディアストリーム及びメタデータ５１０が、ノートルック・サーバーから受信される。記憶装置５５０は、ノートルックプログラム及びノートルックセッション中に生成又は保存された任意のノートファイル又は他のデータの記憶を維持する。
【００３７】
チャンネルセレクタ５３０は、（ビデオウィンドウ３２０に表示するために）適切なストリームをディスプレイ５６０に向かわせる。プロセッサ５４０はユーザ入力（チャンネル選択等）（５２０）を受信し、チャンネル選択、及びディスプレイ５６０への出力（ボタン配置等）を指示する。プロセッサ５４０は、サーバーに送られたユーザ要求（例えば、特定のタイムスタンプでのビデオ又はスナップ写真の巻き戻し又は再生）を開始してもよい。
【００３８】
ノートルックプログラムがロードされると、プロセッサ５４０は、上述の操作を行う。プロセッサ自体は、図６のブロック図に示されている特定の装置によって説明され得るが、これに限定されるものではない。
【００３９】
ノート作成セッション中、ノートルック・クライアントの各手続きは、デジタルインクのストローク、サムネイル、及び背景スナップ写真で構成されるノートファイルを生成する。これらのオブジェクトは、タイムスタンプがつけられるとともにチャンネル番号に帰属させられ（即ち、属性としてチャンネル番号が与えられ）、それによりビデオストリームへの索引が与えられる。
【００４０】
図７は、本発明に従ったノートファイルの１つの可能な実施例を示している。ノートファイルは、ノートルック１００によって入力されたオブジェクト又はアイテム７００の任意の１つ（例えば、サムネイル７１０、インクストローク７１５、及びスナップ写真７２０）を参照する。各オブジェクトは、対応するタイムスタンプ７５０及びチャンネル識別子７７０を有する。個々のノートファイル及び追加情報も保持されてもよい。
【００４１】
セッション後、ユーザはノートをリビューし、オブジェクトを選択して再生ボタンを押すことにより、そのオブジェクトに対応するビデオを再生できる。他に、サムネイルをクリック又はダブルクリックしてビデオを再生する方法がある。オブジェクトを再生することにより、オブジェクトが生成された（時間、チャンネル）に対応する（時間、チャンネル）のビデオがスタートする（或いは、サムネイルが特定のビデオ又はメディアセグメントへの指標又はリンクとなっていてもよい）。
【００４２】
ユーザは、再生中にチャンネル変更ボタン（４０５）を押すことにより、チャンネルを変更できる。ノート作成活動の時間的な位置を視覚的に示すタイムラインは、対象時点のビデオをブラウジング及び再生するための更に別の方法を提供する。ユーザは、再生するために、単に、ポインタをタイムライン上の所望の場所にドラッグするか又はタイムライン上の位置をクリックする。
【００４３】
デジタルビデオストリームは、サーバーによって、ネットワーク上に別々に保存され、各自が作成したノートファイルを介してランダムにアクセス可能である。或いは、ビデオはノートファイルとともに部分的に保存できるが、これには大量のファイルスペースが必要である。
【００４４】
FXPALにおけるセットアップでは、ノートルック・クライアントは、ペン・ベースのノートブック型コンピュータ、富士通スタイリスティック(Stylistic)1200（ペンティアム(Pentium)120、8インチＶＧＡアクティブマトリックスディスプレイ）上で実行される。無線ネットワーク接続については、ウェーブランPCカード(WaveLan PC Card)（10Mb）を用いている。ビデオはノートルック・サーバーによって無線ネットワーク８１０を介してノートルック・クライアントに送信される（図８参照）。
【００４５】
ノートルック・サーバーは、Windows95又はWindowsNT上で実行されている（明らかに他のオペレーティング・システムも適用可能である）。サーバー装置はビデオキャプチャカードを備えており、コンポジット・ビデオを受け入れる。デジタルビデオは、１秒間に15又は30のフレーム（速度）で取得され、再生用にネットワーク上に格納される。FXPALクモ会議室の現在のセットアップでは、主なビデオソースは、３台の室内カメラ（２００、２０１、及び２０２）及び120インチ背面プロジェクタ２１０である。図５は、ノートルックの構成の１つの実施の形態を示す。例えば、ユーザが（資料を）供給するラップトップ型コンピュータのような奥の部屋のワークステーション、ドキュメントカメラ、ＶＣＲ、又はＤＶＤ/ＣＤプレーヤーから、プレゼンテーション資料のビデオが、背面プロジェクタに供給される。発表者は演壇で、所望の背面プロジェクタソースを選択する。また、室内カメラを室内のホワイトボードに向け、ホワイトボードを背面プロジェクタに映し出すこともできる。クモ会議室内の音声は、６台の天井マイクによって取得され、組合わされて単一の音声ストリームにされ、ビデオとともにネットワーク上に格納される。音声、ビデオ、又は他のデータの他の多くの組み合わせが、ノートルック・クライアントへのメディアストリームとして供給され得る。
【００４６】
ノートルック・サーバーにより、自動スライド変更検出が行われる（そのような検出は、任意のノートルック（クライアント）１１０上で行われてもよいのだが、ノートルック・サーバーは、任意の要求される処理及びその後の結果の配信に関して、より効率的なロケーションである）。ビデオフレーム間の区別をする１つのアルゴリズムは、ビデオストリーム内の連続するフレームのカラーヒストグラムを比較する方法を用いて、いつフレームが変わったか及びそれ以降スライド変更が生じたかを決定するアルゴリズムである。検出された各スライド変更は１片のメタデータを与え、そのメタデータはノートルック・クライアントに送られる。クライアントはメタデータから生成された索引を管理し、タイムライン上にマークを表示する（図４の点線）。無線帯域幅を最適化するために、スライド変更とスライド変更との間のフレームを削除することによって、フレーム率圧縮が行われる。ビデオフレーム及びメタデータは標準的なＴＣＰ/ＩＰの方法を用いてノートルック・クライアントに送信される（ここでも、他の方法を用いてもよい）。
【００４７】
ノートルック２ＧＯ及びノートルック４ＴＶは、ノートルックのクライアント及びサーバーを同じペン・ベースのノートブック型コンピュータ上で実行することにより、実現可能である。ノートルック２ＧＯに対しては、ＵＳＢ接続端子を有する携帯カメラが現在は好ましい。ＵＳＢポートはカメラに電力を供給する。ノートルック４ＴＶに対しては、ビデオキャプチャ用のＰＣカードが現在は好ましい。
【００４８】
帯域幅を節約するためにフレーム率圧縮を用いてもよい。自動変更検出（例えばスライド変更検出）を用いてもよく、メディアストリーム内の変化があった部分だけがノートルック・クライアントに送信される。或いは、メディアストリームのフレーム転送速度が削減されてもよい（即ち、30fpsのビデオショットが1又は2fpsに削減されてもよい）。この結果、ノートルック・クライアントでの表示はぎこちなくなるかもしれないが、このノート作成プロセスにとって、ノート作成装置における完全なビデオは必須ではなく、実際のところ、ノート作成者がビデオ（撮影される会議）に出席している状況では必要ない（なぜなら、ノート作成者は、生じている事柄を見たり聞いたりできるからである）。
【００４９】
また、自動索引付けを用いて、重要なビデオ映像を（上述と同じ変更検出基準を用いて）自動的に決定し、自動的に取得して、特定のノートにしてもよい。そのような自動的に索引付けされたマテリアルも、（上述のスライド変更のように）タイムラインにリンクされてよい。
【００５０】
コンピュータ技術者には明らかなように、本発明は、従来の汎用又は専用デジタルコンピュータ、又は本開示の教示に従ってプログラムされたマイクロプロセッサを用いて、容易に実施され得る。
【００５１】
ソフトウェア技術者には明らかなように、本開示の教示に基づき、熟練したプログラマーによって、適切なソフトウェアコーディングが容易に準備され得る。当業者に容易に明らかとなるように、本発明は、アプリケーションを特定した集積回路を準備することによって、又は従来の構成回路の適切なネットワークを相互接続することによって、実施されてもよい。
【００５２】
本発明は、本発明の任意の処理を行うためにコンピュータをプログラムするために用いられ得る命令を記憶した１つ（又は複数）の記憶媒体である、コンピュータプログラム製品を含む。記憶媒体は、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、及び磁気光ディスクを含む任意のタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）、又は命令及び/又はデータの記憶に適した任意のタイプの媒体又は装置を含むことが可能だが、それに限定されない。
【００５３】
コンピュータ読み取り可能媒体の任意の１つに格納される、本発明は、汎用/専用コンピュータのハードウェア又はマイクロプロセッサの両方を制御し、コンピュータ又はマイクロプロセッサが人間のユーザ又は本発明の結果を用いる他の機構と対話式にやりとりするのを可能にするためのソフトウェアを含む。そのようなソフトウェアは、デバイス・ドライバー、オペレーティング・システム、及びユーザアプリケーションを含み得るが、それに限定されない。究極的には、そのようなコンピュータ読み取り可能媒体は、更に、上述した本発明を行うためのソフトウェアを含む。
【００５４】
汎用/専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）に含まれるのは、メディアストリームの取得及び索引付け、重要なノート作成イベントのタイムラインの生成、メディアストリームの点又はセグメントへの静止フレームのリンク、あらゆるスライド変更の認識、メディアストリームの少なくとも一部を記述するメタデータの生成及び配信、及び本発明の処理に従った結果の通信を含むが、それに限定されない、本発明の教示を実施するためのソフトウェアモジュールである。
【００５５】
上述の教示に照らして、本発明の多くの修正及び変更が可能なことは明らかである。従って、添付の特許請求の範囲の範囲内において、本発明は本明細書に特に述べた以外の方法で実用化され得ることが理解されるものである。
【図面の簡単な説明】
【図１】ペン・ベースのコンピュータ上で実行されるノートルック・クライアントを示す図である。
【図２】  FXPALの会議室の様子を示す図であり、（Ａ）は前向きに見た（即ち、部屋の前部の）様子であり、（Ｂ）は反対向きに見た（即ち、部屋の後部の）様子である。
【図３】ノートルック・クライアント・アプリケーションのスクリーンの（画面例の）図である。
【図４】ノートルック・クライアントのビデオコントロール及びタイムライン表示索引をクローズアップで示す図である。
【図５】本発明に従ったノート作成装置の１つの可能な実施の形態を示すブロック図である。
【図６】本発明に従ったノート作成装置用のプロセッサの構成要素を示すブロック図である。
【図７】本発明に従ったノート作成システムによって生成されるノートファイルの１つの可能な実施の形態の例を示す図である。
【図８】ノートルックシステム用の構成を示すブロック図である。
【符号の説明】
１００    コンピュータ
１１０    ノートルック・クライアント・アプリケーション
５１０    メディアストリーム及びメタデータ
５２０    ユーザ入力
５３０    チャンネルセレクタ
５４０    プロセッサ
５５０    記憶装置
５６０    ディスプレイ
【図１】
0004171157.tif 000002
【図２】
0004171157.tif 000003
【図３】
0004171157.tif 000004
【図４】
0004171157.tif 000005
【図５】
0004171157.tif 000006
【図６】
0004171157.tif 000007
【図７】
0004171157.tif 000008
【図８】
0004171157.tif 000009