Source: https://patents.google.com/patent/JP2013210957A/en
Timestamp: 2018-07-18 23:03:05
Document Index: 708717457

Matched Legal Cases: ['art 1', 'art 2', 'art 3', 'art 4', 'art 5', 'art 6']

JP2013210957A - Image processing device - Google Patents
JP2013210957A
JP2013210957A JP2012082242A JP2012082242A JP2013210957A JP 2013210957 A JP2013210957 A JP 2013210957A JP 2012082242 A JP2012082242 A JP 2012082242A JP 2012082242 A JP2012082242 A JP 2012082242A JP 2013210957 A JP2013210957 A JP 2013210957A
JP2012082242A
JP5935456B2 (en )
PROBLEM TO BE SOLVED: To freely create and/or add a page having content data stored in a notebook PC or a portable terminal of a conference participant as a background image.SOLUTION: An image processing device comprises: acquisition means that acquires a display image directly from an information processor; drawing creation means that creates a drawing image using a contact position or an approach position of an object with respect to a display device; synthesis means that synthesizes the display image and the drawing image; display control means that displays the image synthesized by the synthesis means on the display device; display information storage means that records and stores display information for re-synthesizing and re-displaying the display image and the drawing image; content data reception means that receives content data from an arbitrary information processor via a network; content data conversion means that converts a content of the received content data into image data; and external snapshot creation means that creates display information on the basis of the converted image data, and stores the data in the display information storage means.
本発明は、電子情報ボード等に用いられる画像処理装置に関する。 The present invention relates to an image processing apparatus used in an electronic information board or the like.
液晶やプラズマなどのフラットパネルやプロジェクタを用いた４０インチ〜６０インチ程度のサイズの大型のディスプレイにタッチパネルを搭載した、いわゆる「電子情報ボード」製品が市場に出ている。 Equipped with a touch panel on a large display of the liquid crystal or flat panel and the size of about 40 inches to 60 inches using a projector, such as plasma, the so-called "electronic information board" products are on the market.
これらの製品はパソコンを接続することによって、接続したパソコンの画面を大きく映すことができ、企業や行政機関の会議におけるプレゼンテーションや教育機関における講義等で用いられている。 By that these products are to be connected to a personal computer, computer screen that is connected can be projected a large, it has been used in lectures in presentation and educational institutions in the conference of companies and government agencies.
この種の電子情報ボードには、搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることで、画面を表示しているパソコンを操作することのできる、（１）タッチパネルを介したパソコン操作機能、が提供されている。 This type of electronic information boards, using a touch panel function to be mounted, by directly touching instead of a mouse operation on the screen is mirrored, capable of operating a computer which displays a screen, (1 ) PC operation function via the touch panel, is provided.
さらに、接続したパソコン上で動かすことのできる電子黒板アプリケーションソフトウェアがこれらの機器と一緒に提供されている。 Further, the electronic blackboard application software that can be run on the connected computer is provided with these devices.
この電子黒板アプリケーションソフトウェアは、黒板の役割をする画面を提供し、その上に手書き文字などをタッチパネルを介して描く機能や、このアプリケーションを提供するパソコンの画面を取り込んでその上に手書きを重畳して描く機能など、（２）タッチパネルを介した手書機能、が提供されている。 The electronic blackboard application software provides a screen for the role of the board, on a handwriting character features and draw through the touch panel thereon, superimposes the handwritten thereon captures the computer screen that provides this application including the ability to draw Te are provided handwriting function, through (2) the touch panel.
このような手書き機能が動作する電子情報ボードを利用すると、オフィスの会議シーン等において、説明のための資料を表示しながら、適宜画面上に直接に指摘事項等の書き込みを行い、さらに必要に応じて書き込みを含む画面内容を記録することができ、その結果、会議終了時に画面内容を振り返り、画面内容を再利用することで、効率的に結論などをまとめることが期待できる。 When using electronic information boards such handwriting feature to work, in the office meeting scene like, while displaying the article to be illustrative, writes such directly findings appropriately screen, if necessary screen content including the writing Te can be recorded, as a result, look back on screen content at the time of the end of the conference, by reusing the screen content can be expected to be summarized and efficiently conclusion.
このような機能を有する電子情報ボードを利用した会議において重要なことは、会議の進行を妨げずに電子情報ボードが操作されて必要な情報の表示と入力が可能であることである。 Importantly in the conference using the electronic information board having such a function is that the electronic information board without disturbing the progress of the conference is possible to display the input required information is operated.
しかし、今までの電子情報ボードでは、黒板アプリケーションをインストールしたノートＰＣを電子情報ボードに接続して利用する形態が一般的なため、電子情報ボードに自分のノートＰＣを直接に接続していない会議参加者が電子情報ボードを利用して自分のノートＰＣ内のコンテンツを共有するためには、少なくとも電子情報ボード利用者のノートＰＣと電子情報ボードとの接続を解除し、情報提供する会議参加者のノートＰＣと電子情報ボードを接続し、黒板アプリケーションを起動させる必要がある。 However, in the electronic information board until now, for the form to be used by connecting a notebook PC where you installed the blackboard application to electronic information board is general, not connected to the electronic information board their notebook PC directly to the meeting in order to participants to share the content of using the electronic information board in your notebook PC, it releases the connection between the at least electronic information board users of notebook PC and the electronic information board, conference participants to provide information notes to connect the PC and the electronic information board, there is a need to activate the blackboard application. このため、複数人の会議参加者が順次に自分のノートＰＣ内のコンテンツを共有するためには、その都度上記行為を繰り返す必要があるため、会議の進行を妨げてしまうという問題があった。 For this reason, in order to more than one person of the conference participants to share content in the sequentially my notebook PC, it is necessary that each time repeating the above-mentioned act, there is a problem that hinders the progress of the conference.
このような問題を解決するため、特許文献１では、ＭＦＰを電子情報ボードの制御ＰＣとし、会議参加者のＰＣや携帯端末からＭＦＰに送信されたソースコンテンツからサブコンテンツを抽出し、サブコンテンツを再配置してプロジェクタ等で投影できるようにしている。 To solve such a problem, Patent Document 1, the MFP as the control PC of the electronic information boards, extracts the sub-content from the source content sent from the PC or mobile device conference participants MFP, the sub-content so that can be projected by the projector or the like, and then re-arranged. そのため、複数人の会議参加者が必要に応じて各自のＰＣ内のコンテンツを会議参加者間で共有することができる。 Therefore, it is possible to share content in their PC among the conference participants needed more than one person of the conference participants.
しかしながら、特許文献１は表示機能のみに特化したものであり、例えば順次必要なコンテンツを表示し、表示したコンテンツ上に手書きの書き込み情報を追加し、記録していくといった用途には利用することができないという問題があった。 However, Patent Document 1 is a specialization only to the display function, for example, to display the sequentially necessary content, add a handwritten writing information on the display content, be utilized for applications such as going recorded there is a problem that can not be.
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、会議参加者のノートＰＣや携帯端末に保存している文書ファイル、画像データ、ブラウザなどで閲覧しているウェブページといったコンテンツデータを背景画像とするページを自由に作成・追加できるようにすることにある。 The present invention has been proposed in view of the conventional problems described above, it is an object of the present invention, document files that are saved in a notebook PC or a portable terminal of the conference participants, image data, viewing such as in the browser a page that the content data, such as web page has a background image is to be able to freely create and add.
上記の課題を解決するため、本発明にあっては、情報処理装置から表示画像を直接に取得する取得手段と、表示装置に対する物体の接触位置または接近位置を使用して描画画像を生成する描画生成手段と、前記表示画像および前記描画画像を合成する合成手段と、前記合成手段が合成した画像を前記表示装置に表示する表示制御手段と、前記表示画像および前記描画画像を再合成および再表示するための表示情報を記録・保存するための表示情報保存手段と、任意の情報処理装置からネットワークを経由してコンテンツデータを受信するコンテンツデータ受信手段と、受信したコンテンツデータの内容を画像データに変換するコンテンツデータ変換手段と、変換した画像データをもとに表示情報を生成し、前記表示情報保存手段に保存する外 To solve the above problems, in the present invention generates an acquisition unit that acquires a display image directly from the information processing apparatus, the drawing image using the contact position or proximity position of the object relative to the display device drawing a generation unit, a synthesizing means for synthesizing the display image and the drawing image, and a display control means for displaying an image in which the combining means is synthesized to the display device, resynthesis and redisplay the displayed image and the drawing image display information storage means for recording and storing display information for the content data receiving means for receiving content data via the network from any of the information processing apparatus, the content of the received content data to the image data content data converting means for converting, generates display information based on the converted image data outside to be stored in the display information storage unit スナップショット生成手段とを備え、前記表示情報保存手段に保存された表示情報を選択可能に表示し、選択された表示情報に基づく画像を前記表示装置に表示するようにしている。 Snapshots and a generation unit, the display information displaying information stored in the storage means can display selected, and an image based on the display information selected to be displayed on the display device.
本発明の画像処理装置にあっては、会議参加者のノートＰＣや携帯端末に保存している文書ファイル、画像データ、ブラウザなどで閲覧しているウェブページといったコンテンツデータを背景画像とするページを自由に作成・追加することができる。 In the image processing apparatus of the present invention, document files that are saved in a notebook PC or a portable terminal of the conference participants, image data, a page that the background image the content data, such as web page you are viewing, such as a browser it is possible to freely create and add.
画像処理システムの構成例を示す図である。 It is a diagram illustrating a configuration example of an image processing system. 画像処理装置の構成例を示す図である。 Is a diagram showing the arrangement of an image processing apparatus. メールによるコンテンツデータ受信処理の例を示すフローチャートである。 Is a flowchart illustrating an example of a content data reception process by mail. ファイルアップロードによるコンテンツデータ受信処理の例を示すフローチャートである。 Is a flowchart illustrating an example of a content data reception process by the file upload. コンテンツデータ変換処理の例を示すフローチャートである。 Is a flowchart illustrating an example of a content data conversion process. 外部スナップショット生成処理の例を示すフローチャートである。 Is a flowchart illustrating an example of an external snapshot creation processing. アプリケーション画面の例を示す図（その１）である。 An example of an application screen is a diagram (Part 1). アプリケーション画面の例を示す図（その２）である。 An example of an application screen is a diagram (Part 2). アプリケーション画面の例を示す図（その３）である。 An example of an application screen is a diagram (Part 3). アプリケーション画面の例を示す図（その４）である。 An example of an application screen is a diagram (Part 4). 会議参加者が送信するコンテンツデータの例を示す図である。 Conferee is a diagram illustrating an example of content data to be transmitted. アプリケーション画面の例を示す図（その５）である。 An example of an application screen is a diagram (Part 5). アプリケーション画面の例を示す図（その６）である。 An example of an application screen is a diagram (Part 6).
＜画像処理システムの構成例＞ <Configuration Example of Image Processing System>
図１は画像処理システム１００の構成例を示す図である。 Figure 1 is a diagram showing the arrangement of an image processing system 100.
図１において、画像処理システム１００は、画像処理装置（電子情報ボード装置）１１０と、ユーザＰＣ１３０ａ、１３０ｂとを含んで構成されており、画像処理装置１１０とユーザＰＣ１３０ａ、１３０ｂは、それぞれケーブル１２４，１２６によって接続されている。 1, the image processing system 100 includes an image processing unit (electronic information board apparatus) 110, the user's PCs 130, is configured to include a 130b, the image processing apparatus 110 and the user's PCs 130, 130b, respectively cable 124, It is connected by 126.
画像処理装置１１０は、ユーザＰＣ１３０ａ、１３０ｂの表示画像を表示することができるとともに、ユーザが手書き操作等により生成する描画画像を表示可能な装置である。 The image processing apparatus 110, the user's PCs 130, it is possible to display the display image 130b, a user can display the drawing image generated by handwriting operation or the like. また、画像処理装置１１０は、表示部１１２に対する接触によってイベントを発生させ、このイベントをマウスやキーボード等の入力装置のイベントとしてユーザＰＣ１３０ａ、１３０ｂに送信することができる。 The image processing apparatus 110 can generate an event by the contact to the display unit 112, and transmits the event as an event of an input device such as a mouse or a keyboard user's PCs 130, to 130b.
ユーザＰＣ１３０ａ、１３０ｂは、画像処理装置１１０に表示すべき画像を提供する情報処理装置である。 User's PCs 130, 130b is an information processing apparatus for providing an image to be displayed on the image processing apparatus 110. ユーザＰＣ１３０ａ、１３０ｂは、画像信号を出力するインタフェースを備えており、ユーザＰＣ１３０ａ、１３０ｂの表示画像を形成する画像信号を所定のレート（例えば、毎秒３０フレーム）で画像処理装置１１０に供給する。 User's PCs 130, 130b is provided with an interface for outputting an image signal, to the image processing apparatus 110 the image signal which forms a user's PCs 130, 130b displays images at a predetermined rate (e.g., 30 frames per second).
本実施形態では、ユーザＰＣ１３０ａ、１３０ｂは、インタフェースとしてＶＧＡ出力端子（図示せず）を備えており、ＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を画像処理装置１１０に送信することができる。 In the present embodiment, the user's PCs 130, 130b is provided with a VGA output terminal (not shown) as an interface, it is possible to transmit the VGA signal to the image processing apparatus 110 via a cable 124 such as a VGA cable. 他の実施形態では、ユーザＰＣ１３０ａ、１３０ｂは、各種無線通信プロトコルに準拠した無線通信により、表示画像を送信してもよい。 In other embodiments, the user's PCs 130, 130b is by wireless communication conforming to various wireless communication protocols may transmit the display image.
また、ユーザＰＣ１３０ａ、１３０ｂは、画像処理装置１１０が表示部１１２に表示した画像を取得することができる。 The user's PCs 130, 130b, the image processing apparatus 110 can acquire an image displayed on the display unit 112. ユーザＰＣ１３０ａ、１３０ｂは、ＵＳＢポート（図示せず）を備えており、ＵＳＢケーブル等のケーブル１２６を介して接続された画像処理装置１１０に格納されている表示画像を、ＵＳＢ Ｍａｓｓ Ｓｔｏｒａｇｅ Ｃｌａｓｓ等の汎用ドライバを使用して取得することができる。 User's PCs 130, 130b is provided with a USB port (not shown), a display image stored in the image processing apparatus 110 connected via a cable 126 such as a USB cable, USB Mass Storage Class and the like general-purpose it can be obtained using the driver.
図１に示す実施形態では、ユーザＰＣ１３０ａ、１３０ｂとしてノート型ＰＣを採用するが、他の実施形態では、デスクトップ型ＰＣやタブレット型ＰＣ、ＰＤＡ、デジタルビデオカメラ、デジタルカメラ等の画像フレームを供給可能な情報処理装置を採用することができる。 In the embodiment shown in FIG. 1, the user's PCs 130, but employing a notebook PC as 130b, in other embodiments, can be supplied desktop PC and tablet PC, PDA, digital video camera, an image frame, such as a digital camera, it can be employed an information processing apparatus. また、図１に示す画像処理システム１００では、２台のユーザＰＣ１３０ａ、１３０ｂを採用するが、他の実施形態では、１のユーザＰＣまたは３以上のユーザＰＣを採用することもできる。 In the image processing system 100 shown in FIG. 1, two user's PCs 130, but adopting 130b, in other embodiments, it may be employed 1 users PC or 3 or more users PC.
＜画像処理装置の構成例＞ <Configuration Example of Image Processing Apparatus>
図２は画像処理装置１１０の構成例を示す図である。 Figure 2 is a diagram showing the arrangement of an image processing apparatus 110.
図２において、画像処理装置１１０は、画像入力インタフェース２３２および画像入出力インタフェース２３４を備えており、これらのインタフェースを介してユーザＰＣ１３０ａ、１３０ｂと接続される。 2, the image processing apparatus 110 includes an image input interface 232 and image output interface 234, a user PC130a through these interfaces, is connected to the 130b.
画像入力インタフェース２３２は、ユーザＰＣ１３０ａ、１３０ｂの表示画像を形成する画像信号を受信するインタフェースである。 The image input interface 232 is an interface for receiving image signals to form the user's PCs 130, 130b display image. 本実施形態では、画像入力インタフェース２３２としてＤＶＩ（Digital Visual Interface）端子によって構成されるＤＶＩコネクタを採用することができる。 In the present embodiment, as an image input interface 232 by a DVI (Digital Visual Interface) terminal may be employed configured DVI connector. 画像入力インタフェース２３２は、ユーザＰＣ１３０ａ、１３０ｂからＶＧＡケーブル等のケーブル１２４を介してＶＧＡ信号を受信し、画像処理装置１１０が備える画像取得部２０６にＶＧＡ信号を供給する。 The image input interface 232, the user's PCs 130, receives the VGA signal through a cable 124 such as a VGA cable from 130b, and supplies the VGA signal to the image acquisition unit 206 of the image processing apparatus 110 is provided. 他の実施形態では、ＶＧＡ（Video Graphics Array）コネクタ、ＨＤＭＩ（High-Definition Multimedia Interface）コネクタ、Ｄｉｓｐｌａｙｐｏｒｔコネクタ等を採用することができる。 In other embodiments, VGA (Video Graphics Array) connector, HDMI (High-Definition Multimedia Interface) connectors, may be employed Displayport connector or the like. さらに他の実施形態では、画像入力インタフェース２３２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ等の無線通信プロトコルに準拠した無線通信により、ユーザＰＣ１３０ａ、１３０ｂから画像信号を受信してもよい。 In yet another embodiment, an image input interface 232, by wireless communication based on Bluetooth (registered trademark) or a wireless communication protocol such as WiFi, the user's PCs 130, it may receive an image signal from the 130b.
画像入出力インタフェース２３４は、画像処理装置１１０の表示画像をユーザＰＣ１３０ａ、１３０ｂなどの外部装置に出力する物理インタフェースである。 Image output interface 234 is a physical interface for outputting the display image of the image processing apparatus 110 the user's PCs 130, to an external device such as 130b. 本実施形態では、画像入出力インタフェース２３４としてＵＳＢソケットを採用することができる。 In the present embodiment, as the image output interface 234 can be employed USB socket.
画像処理装置１１０は、プロセッサ２００と、ＲＯＭ２０２と、ＲＡＭ２０４と、画像取得部２０６と、座標検出部２２４と、接触検知部２２６と、表示部１１２と、記憶装置２３０と、コンテンツデータ受信部２５０と、コンテンツデータ変換部２５２と、外部スナップショット生成部２５４とを含んで構成される。 The image processing apparatus 110 includes a processor 200, a ROM 202, a RAM 204, an image acquisition unit 206, a coordinate detection section 224, a contact detection unit 226, a display unit 112, a storage unit 230, a content data reception unit 250 , a content data conversion unit 252, configured to include an external snapshot creation unit 254.
プロセッサ２００は、ＣＰＵやＭＰＵ等の処理演算装置であり、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ＴＲＯＮ、ＩＴＲＯＮ、μＩＴＲＯＮ，Ｃｈｒｏｍｅ，ＡｎｄｒｏｉｄなどのＯＳを動作させ、これらのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。 The processor 200 is a processing arithmetic unit CPU or MPU, WINDOWS (registered trademark) series, UNIX (registered trademark), LINUX (registered trademark), TRON, ITRON, ÁITRON, Chrome, activates the OS such as Android, assembler under the control of these OS, C, C ++, Java (registered trademark), JavaScript (registered trademark), PERL, RUBY, executes the program of the present invention described in a program language such as PYTHON. ＲＯＭ２０２は、ＢＩＯＳ等のブートプログラムなどが保存される不揮発性メモリである。 ROM202 is a non-volatile memory such as a boot program such as BIOS is stored.
ＲＡＭ２０４は、ＤＲＡＭやＳＲＡＭ等の主記憶装置であり、本発明のプログラムを実行するための実行空間を提供する。 RAM204 is a main memory device such as DRAM or SRAM, provides an execution space for executing the program of the present invention. プロセッサ２００は、ソフトウェアプログラムや種々のデータなどを持続的に保持するためのハードディスク装置（図示せず）から、本発明のプログラムを読み出し、ＲＡＭ２０４に展開して実行する。 The processor 200, the hard disk drive to maintain persistent such as software programs and various data (not shown), reads the program of the present invention, and executes the expanded to the RAM 204. 本発明のプログラムには、プログラムモジュールであるイベント処理部２１０、アプリ画像生成部２１２、レイアウト管理部２１４、描画生成部２１６、合成部２１８、表示制御部２２０、スナップショット生成部２２２およびリポジトリ管理部２２８が含まれる。 The program of the present invention, the event processing section 210 is a program module, the application image generation unit 212, the layout manager 214, the drawing generation unit 216, the combining unit 218, the display control unit 220, the snapshot generation unit 222 and the repository manager 228 are included.
画像取得部２０６は、ユーザＰＣ１３０ａ、１３０ｂから画像信号を取得する機能手段である。 Image acquisition unit 206 is a functional unit that obtains an image signal from the user's PCs 130, 130b. 画像取得部２０６は、ユーザＰＣ１３０ａ、１３０ｂから画像入力インタフェース２３２を介して画像信号を受信すると、当該画像信号を解析して、当該画像信号によって形成されるユーザＰＣ１３０ａ、１３０ｂの表示画像である画像フレームの解像度や当該画像フレームの更新頻度などの画像情報を導出し、アプリ画像生成部２１２に送信する。 Image acquisition unit 206, the user's PCs 130, receives an image signal through an image input interface 232 from 130b, analyzes the image signal, an image frame is a user's PCs 130, 130b of the displayed image formed by the image signal and of deriving image information, such as resolution and update frequency of the image frame, and transmits the application image generation unit 212.
また、画像取得部２０６は、当該画像信号を使用してユーザＰＣ１３０ａ、１３０ｂの表示画像である画像フレームをそれぞれ形成し、画像データを一時的に保存可能な記憶手段であるビデオＲＡＭ２０８にそれぞれ上書き保存する。 The image acquisition unit 206, the user PC130a using the image signal, to form respectively 130b image frame is a display image of each overwrite the video RAM208 is temporarily storable memory means image data to.
アプリ画像生成部２１２は、表示部１１２に表示すべき種々の表示ウィンドウを生成する機能手段である。 Application image generation unit 212 is a functional unit that generates various display windows to be displayed on the display unit 112. 表示ウィンドウには、ユーザＰＣ１３０ａ、１３０ｂの表示画像である画像フレームを表示する表示ウィンドウ、ユーザが生成する描画画像を表示する表示ウィンドウ、画像処理装置１１０の各種設定を行うためのボタンやメニュー等を表示する表示ウィンドウ、ファイルビューアやＷｅｂブラウザ等の表示ウィンドウなどが含まれる。 The display window, the user's PCs 130, display window for displaying an image frame is a display image of the 130b, a display window for displaying the drawn image the user to create, buttons and menus, etc. for performing various settings of the image processing apparatus 110 display window that displays, and the like display window, such as a file viewer or Web browser. アプリ画像生成部２１２は、これらの表示ウィンドウを、当該表示ウィンドウを描画すべき画像レイヤに描画する。 Application image generating section 212, these display window, and draws the image layers to be rendered to the display window.
レイアウト管理部２１４は、アプリ画像生成部２１２が生成する表示ウィンドウにユーザＰＣ１３０ａ、１３０ｂの表示画像を描画する機能手段である。 Layout management unit 214 is a functional unit that draws the user's PCs 130, a display image 130b on the display window application image generating unit 212 generates. レイアウト管理部２１４は、画像取得部２０６から画像情報を取得すると、ビデオＲＡＭ２０８に格納されている画像フレームを取得し、画像情報を使用して、画像フレームの大きさをアプリ画像生成部２１２が生成した表示ウィンドウの大きさに適合するように変更し、当該画像フレームを描画すべき画像レイヤに描画する。 Layout management unit 214 acquires the image information from the image acquisition unit 206 acquires an image frame stored in the video RAM 208, using the image information, the size of an image frame application image generating unit 212 generates It was changed to match the size of the display window, and draws the image layer to be drawn to the image frame.
接触検知部２２６は、描画装置２４０等の物体の接触を検知する機能手段である。 Contact detection unit 226 is a functional unit that detects the contact of an object such as a drawing device 240. 本実施形態では、接触検知部２２６として、赤外線遮断方式による座標入力／検出装置（例えば、特許第４６２７７８１号公報を参照）を採用する。 In the present embodiment, as the contact detection unit 226, employing the coordinate input / detection device according to infrared blocking system (e.g., see Japanese Patent No. 4627781). この座標入力／検出装置では、表示部１１２の下側両端部に設置された２個の受発光装置が、表示部１１２に平行して複数の赤外線を放射し、表示部１１２の周囲に設けられた反射部材によって同一光路上に反射する光を受光する。 In this coordinate input / detection device, two light emitting and receiving apparatus installed in the lower end portions of the display unit 112, in parallel with the display unit 112 emits a plurality of infrared, provided around the display unit 112 receiving light reflected on the same optical path by the reflecting member. 接触検知部２２６は、物体によって遮断された２個の受発光装置が放射した赤外線の識別情報を座標検出部２２４に通知し、座標検出部２２４が、物体の接触位置である座標位置を特定する。 Contact detection unit 226, the identification information of infrared two light receiving and emitting device is blocked by the object is emitted to inform the coordinate detection section 224, the coordinate detecting unit 224 identifies the coordinates of the contact position of the object . 他の実施形態では、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２個の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を採用してもよい。 In other embodiments, a capacitive touch panel that identifies a contact position by detecting a change in capacitance, a resistive-film type touch panel to identify the contact position by the voltage variation of the opposing two resistive film, various detection means such as a touch panel of an electromagnetic induction type that identifies a contact position by detecting the electromagnetic induction caused by the touch object is in contact with the display unit may be adopted.
座標検出部２２４は、物体が表示部１１２に接触した位置である座標位置を算出するとともに、種々のイベントを発行する機能手段である。 Coordinate detection unit 224 calculates the coordinate position is a position where the object is in contact with the display unit 112 is a functional unit that issues various events. 本実施形態では、座標検出部２２４は、接触検知部２２６が通知する遮断された赤外線の識別情報を利用して、物体の接触位置の座標位置を算出する。 In the present embodiment, the coordinate detection section 224 uses the identification information of infrared contact detection unit 226 is interrupted to inform, to calculate the coordinate position of the contact position of the object. 座標検出部２２４は、接触位置の座標位置とともに、種々のイベントをイベント処理部２１０に発行する。 Coordinate detection unit 224, along with the coordinate position of the contact position, and issues various events to the event processing section 210. 座標検出部２２４が発行するイベントには、物体の接触または接近したことを通知するイベント（ＴＯＵＣＨ）、物体が表示部１１２に接触または接近した状態で接触点または接近点が移動したことを通知するイベント（ＭＯＶＥ）、物体が表示部１１２から離れたことを通知するイベント（ＲＥＬＥＡＳＥ）が含まれる。 Events that coordinate detection unit 224 issues, to notify that the event notifying that the contact or approach of an object (TOUCH), the contact point or proximity point in a state where the object in contact with or close to the display unit 112 is moved Events (MOVE), includes event notifying that the object has left the display unit 112 (RELEASE). これらのイベントには、接触位置座標および接近位置座標である座標位置情報が含まれる。 These events include coordinate position information is the contact point coordinate and the proximity position coordinates.
描画装置２４０は、画像処理装置１１０の接触検知部２２６に接触させて描画する装置である。 Drawing device 240 is a device for drawing in contact with the contact detection unit 226 of the image processing apparatus 110. 描画装置２４０は、先端部に物体の接触を検知する接触検知部を備えたペン形状をしており、当該接触検知部が物体に接触すると、接触したことを示す接触信号を当該描画装置２４０の識別情報とともに座標検出部２２４に送信する。 Drawing device 240 is a pen-shaped having a contact detection unit for detecting contact of an object at the distal end, the contact detection unit is in contact with an object, a contact signal indicating the contact of the drawing device 240 and transmits the coordinate detection section 224 together with identification information.
また、描画装置２４０は、画像処理装置操作モードまたはユーザＰＣ操作モードを切り替えるモード切替スイッチを側面や後端部等に備えている。 The drawing device 240 includes a side surface and a rear end like a mode switch for switching the image processing apparatus operation mode or the user PC operation mode. 画像処理装置操作モードとは、ユーザが画像処理装置１１０の表示部１１２に任意の図形や文字等を描画可能なモードであるともに、表示部１１２に表示されたメニューやボタン等のオブジェクトを選択可能なモードである。 Image processing The device operation mode, both the user is possible modes draw any shape or character or the like on the display unit 112 of the image processing apparatus 110, can select an object menus and buttons or the like displayed on the display unit 112 it is a mode. ユーザＰＣ操作モードとは、表示部１１２に表示されたメニューやボタン等のオブジェクトをユーザが選択可能なモードである。 The user PC operation mode, the user object menu or button or the like displayed on the display unit 112 is a selectable modes.
例えば、ユーザがモード切替スイッチを押下した状態で、描画装置２４０を画像処理装置１１０に接触させた場合には、描画装置２４０は、接触信号および当該描画装置２４０の識別情報とともに、ユーザＰＣ操作モードを示すモード種別信号を送信する。 For example, in a state the user presses the mode switch, when contacted drawing apparatus 240 to the image processing apparatus 110, drawing device 240, together with the touch signal and the identification information of the drawing device 240, the user PC operating mode transmitting a mode type signal indicating. ユーザがモード切替スイッチを押下していない状態で、描画装置２４０を画像処理装置１１０に接触させた場合には、描画装置２４０は、接触信号および当該描画装置２４０の識別情報とともに、画像処理装置操作モードを示すモード種別信号を送信する。 In a state where the user has not pressed the mode switch, when contacted drawing apparatus 240 to the image processing apparatus 110, rendering device 240, contact with the signal and the identification information of the drawing device 240, the image processing apparatus operation transmitting a mode type signal indicating the mode.
本実施形態では、座標検出部２２４は、接触検知部２２６から赤外線の識別情報を受信すると、物体の接触位置である座標位置を算出し、次いで、描画装置２４０から接触信号を受信すると、各種イベントを発行する。 In the present embodiment, the coordinate detection unit 224 receives the identification information of the infrared from the contact detection unit 226 calculates the coordinate position of the contact position of the object, then, upon receiving a contact signal from the drawing unit 240, various events to issue. このとき、座標検出部２２４は、モード種別を示す情報（以下、「モード種別情報」とする。）を当該イベントとともにイベント処理部２１０に通知する。 In this case, the coordinate detecting unit 224, information indicating the mode type (hereinafter referred to as "mode type information".) And notifies the event processing section 210 together with the event. 本実施形態では、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信によって各種信号を送信する。 In the present embodiment, it transmits various signals by short-range wireless communication such as Bluetooth. 他の実施形態では、超音波や赤外線を利用した無線通信によって各種信号を送信することができる。 In other embodiments, it is possible to transmit various signals by wireless communication using ultrasonic waves or infrared rays.
イベント処理部２１０は、座標検出部２２４が発行するイベントを処理する機能手段である。 Event processing unit 210 is a functional unit that processes the events issued by the coordinate detection section 224. ユーザＰＣ操作モードが指定されている場合、イベント処理部２１０は、座標検出部２２４からイベントを受信すると、ユーザＰＣ１３０ａまたはユーザＰＣ１３０ｂにマウスイベントを送信する。 If the user PC operation mode is designated, the event processing unit 210 receives an event from the coordinate detection unit 224 transmits the mouse event to the user PC130a or user PC130b. 画像処理装置操作モードが指定されている場合、イベント処理部２１０は、座標検出部２２４からイベントを受信すると、画像処理装置１１０の他の機能手段に対して描画指示イベントおよび選択通知イベントを通知する。 When the image processing apparatus operation mode is designated, the event processing unit 210 receives an event from the coordinate detection unit 224, and notifies the drawing instruction event and select notification event to other functional units of the image processing apparatus 110 .
マウスイベントとは、ユーザＰＣ１３０ａ、１３０ｂのマウス等の入力装置が発行するイベントと同様のイベントであり、ユーザＰＣ操作モードが指定されている場合に、描画装置２４０による接触に起因してユーザＰＣ１３０ａ、１３０ｂに対して発行される。 The mouse event, the user's PCs 130, a similar event and events input device issues such 130b mice, when the user PC operation mode is specified, the user due to contact by the drawing device 240's PCs 130, It is issued to 130b. イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報をユーザＰＣ１３０ａ、１３０ｂの画面サイズに応じた座標位置情報に変換し、マウスイベントとともにユーザＰＣ１３０ａ、１３０ｂに送信する。 Event processing unit 210 converts the coordinate position information included in the event issued by the coordinate detection section 224 to the user's PCs 130, the coordinate position information corresponding to the screen size of 130b, and transmits with a mouse event the user's PCs 130, to 130b. ユーザＰＣ１３０ａ、１３０ｂは、マウスイベントをマウス等の入力装置が発行するイベントと同様に処理する。 User's PCs 130, 130b processes the mouse event like the event issued by an input device such as a mouse.
描画指示イベントとは、画像処理装置１１０に対して描画を指示するイベントである。 The drawing instruction event is an event that instructs the drawing to the image processing apparatus 110. 描画指示イベントは、画像処理装置操作モードが指定されている場合に、描画装置２４０が表示部１１２に接触することに起因して発行される。 Drawing instruction event, when the image processing apparatus operation mode is designated, the drawing device 240 is issued due to contact with the display unit 112.
選択通知イベントとは、表示部１１２に表示された画面を構成するボタンやメニューバー等の種々のオブジェクトが選択されたことを示すイベントである。 The selection notification event is an event indicating that a variety of objects such as buttons, menu bars that constitute the screen displayed on the display unit 112 is selected. 選択通知イベントは、画像処理装置操作モードが指定されている場合に、描画装置２４０が表示部１１２に接触することに起因して発行される。 Selection notification event, when the image processing apparatus operation mode is designated, the drawing device 240 is issued due to contact with the display unit 112. イベント処理部２１０は、座標検出部２２４が発行したイベントに含まれる座標位置情報がオブジェクトの座標領域内であるときに選択通知イベントを発行する。 Event processing unit 210, the coordinate position information included in the event issued by the coordinate detection section 224 issues a select notification event when a coordinate area of ​​the object.
本実施形態では、描画指示イベントおよび選択通知イベントには、それぞれ識別情報が割り当てられており、これらのイベントをトリガとして動作する画像処理装置１１０の機能手段は、当該識別情報を参照して種々の処理を実行する。 In the present embodiment, the drawing instruction event and select notification event is assigned a respective identification information, functional unit of the image processing apparatus 110 operating these events as triggers, various by referring to the identification information process to run. また、選択通知イベントには、選択されたオブジェクトの識別情報が付加されており、選択通知イベントをトリガとして動作する画像処理装置１１０の機能手段は、当該オブジェクトの識別情報を参照して種々の処理を実行する。 Further, the selection notification event, which is added identification information of the selected object, function unit of the image processing apparatus 110 operating as a trigger selection notification event, various processing with reference to the identification information of the object to run.
合成部２１８は、種々の画像を合成する機能手段である。 Combining unit 218 is a functional unit that synthesizes the different image. 合成部２１８は、アプリ画像生成部２１２が画像を描画すべき画像レイヤ（以下、「アプリ画像レイヤ」とする。）と、レイアウト管理部２１４がユーザＰＣ１３０ａ、１３０ｂの表示画像を描画すべき画像レイヤ（以下、「画像キャプチャレイヤ」とする。）と、描画生成部２１６が画像を描画すべき画像レイヤ（以下、「手書きレイヤ」とする。）とを合成する。 Combining unit 218, image layer (hereinafter. To "application image layer") application image generation unit 212 should draw the image and an image layer to be drawn layout management unit 214 the user's PCs 130, a display image 130b (hereinafter referred to. as "image capture layer") and, drawing generation unit 216 image layer (hereinafter. to "handwritten layer") to be rendered image synthesizing and.
表示制御部２２０は、表示部１１２を制御する機能手段である。 The display control unit 220 is a functional unit that controls the display unit 112. 表示制御部２２０は、合成部２１８が生成した合成画像を表示部１１２に表示する。 The display control unit 220 displays the composite image synthesis unit 218 generates the display unit 112. 本実施形態では、合成部２１８は、表示制御部２２０を呼び出して合成画像を表示部１１２に表示する。 In this embodiment, the combining unit 218 displays the composite image on the display unit 112 calls the display control unit 220. 他の実施形態では、合成部２１８および表示制御部２２０は、画像情報に含まれる画像フレームの更新頻度と同じ頻度で、画像レイヤを合成して表示部１１２に表示してもよい。 In other embodiments, the combining unit 218 and the display control unit 220, at the same frequency as the update frequency of the image frame included in the image information may be displayed on the display unit 112 an image layer synthesis to.
スナップショット生成部２２２は、ユーザＰＣ１３０ａ、１３０ｂの表示画像と描画生成部２１６が生成した描画画像との合成画像であるスナップショット画像を生成する機能手段である。 Snapshot generation unit 222 is a functional unit for generating a snapshot image is a composite image of the drawn image by the user's PCs 130, the display image and the drawing generation unit 216 of 130b was produced. スナップショット生成部２２２は、表示部１１２に表示されたスナップショット画像の取得を指示するスナップショットボタンが選択されたことを示す選択通知イベントを受信すると、画像キャプチャレイヤと手書きレイヤとを合成し、スナップショット画像を生成する。 Snapshot generation unit 222 receives the selection notification event indicating that the snapshot button for instructing acquisition of the displayed snapshot image on the display unit 112 is selected, and synthesizes the image capture layer and the handwriting layer, to generate a snapshot image. スナップショット生成部２２２は、スナップショット画像を生成すると、リポジトリ管理部２２８に対し生成したスナップショット画像、画像キャプチャレイヤのキャプチャ画像データ、手書きレイヤの手書きストロークデータ、作成時刻として現在時刻、修正時刻として現在時刻、順序識別子として最大の順序識別子に１を加えた整数値、外部スナップショットフラグとしてｆａｌｓｅを記憶装置２３０に保存させる。 Snapshot generation unit 222, when generating a snapshot image, a snapshot image generated with respect to the repository management unit 228, image capture layer of the captured image data, handwritten stroke data of the handwritten layer, the current time as the creation time, as the modification time current time integral value obtained by adding 1 to the largest sequence identifier as sequence identifier, thereby saving the false as external snapshot flag in the storage device 230.
リポジトリ管理部２２８は、スナップショットデータを格納すべき記憶装置２３０を制御する機能手段である。 Repository manager 228 is a functional unit that controls the storage unit 230 to store the snapshot data. リポジトリ管理部２２８は、上述したように、スナップショット生成部２２２の指示により、スナップショット画像、画像キャプチャレイヤのキャプチャ画像データ、手書きレイヤの手書きストロークデータ、作成時刻、修正時刻、順序識別子、外部スナップショットフラグを記憶装置２３０に保存する。 Repository manager 228, as described above, the instruction of the snapshot generation unit 222, the snapshot image, the image capture layer of the captured image data, handwritten stroke data of the handwritten layer, creation time, modification time, sequence identifier, an external snap Save shot flag in the storage device 230. また、リポジトリ管理部２２８は、ユーザの指示により、現在表示しているスナップショット画像を保存し（現在の表示内容がスナップショット画像として保存されていない場合は新規に保存し）、ユーザの指定する順序識別子をもつスナップショット画像のキャプチャ画像データとストロークデータを画像キャプチャレイヤのキャプチャ画像データ、手書きレイヤの手書きストロークデータと置き換え、また修正時刻を現在時刻と置き換える。 Also, the repository manager 228, in response to an instruction of the user, a snapshot image that is currently displayed (the display contents of the current is stored in the new if not stored as a snapshot image), specifies the user snapshot image capture image data and stroke data image capture layer of the captured image data having the sequence identifier, replace the handwritten stroke data of the handwritten layer, also replacing the corrected time and the current time. また、リポジトリ管理部２２８は、ユーザＰＣ１３０ａ、１３０ｂの指示により、記憶装置２３０からスナップショット画像を取得し、ユーザＰＣ１３０ａ、１３０ｂに送信する。 Also, the repository management unit 228, the user's PCs 130, an instruction 130b, acquires a snapshot image from the storage device 230 transmits the user's PCs 130, to 130b.
コンテンツデータ受信部２５０は、ユーザが画像処理装置１１０に表示するために送信したコンテンツデータをネットワークを介して受信する機能手段であり、受信したコンテンツデータはコンテンツデータ変換部２５２へ送られる。 Content data receiving unit 250, the user is a functional unit for receiving via the network the transmitted content data to be displayed on the image processing apparatus 110, the received content data is sent to the content data converter 252. コンテンツデータの受信処理に特別な仕組みは必要とせず、電子メールやファイルサーバへのアップロード等の一般的な手続きを用いればよい。 Special mechanism to the reception processing of content data does not require, may be used for the general procedure of uploading the like to the e-mail and file server. 電子メールやファイルアップロードといった使い慣れた手段でコンテンツデータを登録できるため、利便性が向上する。 Since it is possible to register the content data in a familiar means such as e-mail and file upload, the convenience is improved.
電子メールの場合は、会議参加者が予め定められているメールアドレスへコンテンツデータを添付ファイルとした電子メールを送信し、送信された電子メールをコンテンツデータ受信部２５０が受信し、電子メールに添付されている電子メールを抽出することでコンテンツデータの受信処理を実現することができる。 In the case of e-mail, send an e-mail in which the content data and attachments to e-mail address to conference participants is determined in advance, the sent e-mail received by the content data receiving unit 250, attached to an e-mail it is possible to realize the reception processing of the content data by extracting the e-mail that is. ファイルサーバへのアップロードの場合は、コンテンツデータ受信部２５０でａｐａｃｈｅ等のＨＴＴＰサーバを用いてファイルアップロードサービスを予め開始しておき、ユーザはｇｏｏｇｌｅ ｃｈｒｏｍｅ等のブラウザアプリケーションを用いて画像処理装置１１０のファイルアップロードサービスへアクセスしてコンテンツデータをアップロードすることで、コンテンツデータの受信処理を実現することができる。 For uploading to the file server, using the HTTP server apache like in the content data reception unit 250 have opened the file upload service in advance, the user uses the browser application such as google chrome of the image processing apparatus 110 files accesses the upload service by uploading the content data, it is possible to realize the reception processing of the content data.
コンテンツデータ変換部２５２は、コンテンツデータ受信部２５０から送られるコンテンツデータを画像データに変換する機能手段であり、変換の結果生成される画像データは外部スナップショット生成部２５４に送られる。 Content data converting unit 252 is a functional unit for converting the content data sent from the content data reception unit 250 to the image data, the image data generated as a result of the conversion is sent to the external snapshot creation unit 254. コンテンツデータ変換処理はコンテンツデータ受信処理で受信したコンテンツデータのデータフォーマットを判定し、コンテンツデータが画像データを抽出可能なフォーマットの場合は画像データを抽出することで実現することができる。 Content data conversion process determines the data format of the content data received by the content data reception process, if the content data is extractable format image data can be realized by extracting the image data.
例えば、ＰＤＦ、パワーポイント、および画像形式のコンテンツデータをＰＮＧ形式の画像データに変換する場合、ＰＤＦ形式はＩｍａｇｅＭａｇｉｃｋ（http://www.imagemagick.org/script/index.php等を参照）を用いることでＰＤＦファイルからＰＮＧ形式の画像データを抽出することができる。 For example, when converting PDF, PowerPoint, and image format content data in the image data of the PNG format, the use of the PDF format ImageMagick (see http://www.imagemagick.org/script/index.php etc.) in can be extracted image data of PNG format from PDF file. また、ＰＮＧ以外の画像フォーマットの場合も同じくＩｍａｇｅＭａｇｉｃｋを利用することでＰＮＧ形式の画像データを抽出することができる。 Further, it is possible to extract the image data of PNG format by utilizing well ImageMagick case of the image format other than PNG. また、パワーポイント形式はＸＬＳＯＳＴ社製のＰｒｉｍｏＰＤＦ（http://www.xlsoft.com/jp/products/primopdf/index.html等を参照）等のＰＤＦ変換ツールを利用することで一時的にＰＤＦファイルに変換し、さらに変換したＰＤＦファイルを画像データに変換することで画像データを抽出することができる。 In addition, PowerPoint format is temporarily PDF file by using the PDF conversion tool such as XLSOST Co., Ltd. of PrimoPDF (see http://www.xlsoft.com/jp/products/primopdf/index.html, etc.) conversion, it is possible to extract further converted image data by converting the PDF file into image data.
外部スナップショット生成部２５４は、コンテンツデータ変換部２５２から送られる画像データを用いてスナップショットデータを生成・保存する機能手段である。 External snapshot generation unit 254 is a functional unit for generating and saving the snapshot data using the image data sent from the content data converter 252. 外部スナップショット作成処理は、コンテンツデータを変換して抽出した画像データセットの個々の画像データを用いてスナップショット画像を生成し、記憶装置２３０のスナップショットＤＢに保存することで実現することができる。 External snapshot creation processing can be realized by generating a snapshot image and storing the snapshot DB storage device 230 by using the individual image data of the image data sets extracted by converting the content data .
スナップショットＤＢに保存するスナップショット画像の構造は前述のとおり、画像キャプチャレイヤが保持するキャプチャ画像データと手書きレイヤが保持する手書きストロークデータを合成した画像処理装置１１０の表示画面サイズと同じ解像度のスナップショット画像と、画像キャプチャレイヤが保持するキャプチャ画像データと、手書きレイヤが保持する手書きストロークデータと、スナップショット画像の作成時刻と、スナップショット画像の更新時刻である修正時刻と、各スナップショット画像を一意に識別するための順序識別子と、会議参加者が送信したコンテンツデータから作成したスナップショット（外部スナップショット）と通常のスナップショットを区別するための外部スナップショットフラグ情報とで構成する。 Snapshots structure of the snapshot image to be saved to the DB as described above, the same resolution as the display screen size of the image processing apparatus 110 handwritten layer as captured image data by the image capture layer held was synthesized handwriting stroke data held snap and shot images, the captured image data by the image capture layer is held, the handwriting stroke data handwriting layer holds a creation time of the snapshot image, the modification time is the update time of the snapshot image, each snapshot image and sequence identifier for uniquely identifying conference participants constituted by the external snapshot flag information for distinguishing created snapshot and (external snapshots) regular snapshots from the transmitted content data.
スナップショット画像は送られる画像データを合成したもの、画像キャプチャレイヤのキャプチャ画像データは送られる画像データ、手書きレイヤの手書きストロークデータは空データ、作成時刻と修正時刻は現在時刻、順序識別子は最大の順序識別子に１を加えた整数値、外部スナップショットフラグはｔｒｕｅとして保存する。 Snapshot images obtained by synthesizing the image data to be sent, the image data captured image data of the image capture layer to be sent, the handwritten stroke data empty data handwritten layer, creation time and modification times are a current time, the order identifier largest integer value obtained by adding 1 to the sequence identifier, external snapshot flag is stored as true. 各画像データの形式は特別なものは必要なくＰＮＧ形式など一般的な画像形式を用いればよい。 Format of each image data is special one can be used a general image format, such as no need PNG format.
＜メールによるコンテンツデータ受信処理＞ <Content data reception processing by e-mail>
図３はメールによるコンテンツデータ受信処理の例を示すフローチャートである。 Figure 3 is a flow chart showing an example of a content data reception process by mail.
図３において、画像処理装置１１０が処理を開始すると、コンテンツデータ受信部２５０はメール受信サービスを開始する（ステップＳ１１）。 3, when the image processing apparatus 110 starts the process, the content data reception unit 250 starts the mail reception service (step S11).
次いで、コンテンツデータ受信部２５０は画像処理装置１１０のアプリケーションの終了イベントが発行されたか否か判断し（ステップＳ１２）、終了イベントが発行されたと判断した場合（ステップＳ１２のＹｅｓ）は処理を終了する。 Then, the content data reception unit 250 determines whether an end event of the application of the image processing apparatus 110 has been issued (step S12), if it is determined that an end event is issued (Yes in step S12), the processing ends .
終了イベントが発行されていないと判断した場合（ステップＳ１２のＮｏ）、コンテンツデータ受信部２５０はメールを受信したか否か判断し（ステップＳ１３）、メールを受信していないと判断した場合（ステップＳ１３のＮｏ）は終了イベントの判断（ステップＳ１２）に戻る。 If the termination event is determined not to be issued (No in step S12), the content data reception unit 250 determines whether it has received an e-mail (step S13), and if it is determined that it has not received the email (step No of S13) returns to the judgment of the end event (step S12).
メールを受信したと判断した場合（ステップＳ１３のＹｅｓ）、コンテンツデータ受信部２５０は受信したメールに添付ファイルがあるか否か判断し（ステップＳ１４）、添付ファイルがないと判断した場合（ステップＳ１４のＮｏ）は終了イベントの判断（ステップＳ１２）に戻る。 If it is determined that the received mail (Yes in step S13), and determines whether the content data reception unit 250 has an attachment in the received mail (step S14), and if it is determined that there is no attachment (step S14 of No), the flow returns to the determination of the end event (step S12).
添付ファイルがあると判断した場合（ステップＳ１４のＹｅｓ）、コンテンツデータ変換部２５２によりコンテンツデータ変換処理を行い（ステップＳ１５）、終了イベントの判断（ステップＳ１２）に戻る。 If it is determined that there is attached file (Yes in step S14), and performs the content data conversion process by the content data converting unit 252 (step S15), and returns to the determination of the end event (step S12). コンテンツデータ変換処理の詳細については後述する。 Details will be described later of the content data conversion process.
＜ファイルアップロードによるコンテンツデータ受信処理＞ <Content data reception process by the file upload>
図４はファイルアップロードによるコンテンツデータ受信処理の例を示すフローチャートである。 Figure 4 is a flow chart showing an example of a content data reception process by the file upload.
図４において、画像処理装置１１０が処理を開始すると、コンテンツデータ受信部２５０はファイルアップロードサービスを開始する（ステップＳ２１）。 4, the image processing apparatus 110 starts the process, the content data reception unit 250 starts a file upload service (step S21).
次いで、コンテンツデータ受信部２５０は画像処理装置１１０のアプリケーションの終了イベントが発行されたか否か判断し（ステップＳ２２）、終了イベントが発行されたと判断した場合（ステップＳ２２のＹｅｓ）は処理を終了する。 Then, the content data reception unit 250 determines whether an end event of the application of the image processing apparatus 110 has been issued (step S22), if it is determined that an end event is issued (Yes in step S22), the processing ends .
終了イベントが発行されていないと判断した場合（ステップＳ２２のＮｏ）、コンテンツデータ受信部２５０はファイルがアップロードされたか否か判断し（ステップＳ２３）、ファイルがアップロードされていないと判断した場合（ステップＳ２３のＮｏ）は終了イベントの判断（ステップＳ２２）に戻る。 If the termination event is determined not to be issued (No in step S22), the content data reception unit 250 determines whether the file is uploaded (step S23), if the file is determined not to be uploaded (step No of S23) returns to the judgment of the end event (step S22).
ファイルがアップロードされたと判断した場合（ステップＳ２３のＹｅｓ）、コンテンツデータ変換部２５２によりコンテンツデータ変換処理を行い（ステップＳ２４）、終了イベントの判断（ステップＳ２２）に戻る。 If it is determined that the file has been uploaded (Yes in step S23), it performs a content data conversion process by the content data converting unit 252 (step S24), and returns to the determination of the end event (step S22). コンテンツデータ変換処理の詳細については後述する。 Details will be described later of the content data conversion process.
＜コンテンツデータ変換処理＞ <Content data conversion processing>
図５はコンテンツデータ変換処理（図３のステップＳ１５、図４のステップＳ２４）の例を示すフローチャートである。 Figure 5 is a flow chart showing an example of a content data conversion process (step S15 in FIG. 3, step S24 in FIG. 4).
図５において、コンテンツデータ変換部２５２は処理を開始すると、コンテンツデータ受信部２５０からコンテンツデータを取得する（ステップＳ３１）。 5, the contents data conversion unit 252 starts the processing to acquire the content data from the content data reception unit 250 (step S31).
次いで、コンテンツデータ変換部２５２はコンテンツデータがパワーポイント形式であるか否か判断する（ステップＳ３２）。 Then, the contents data conversion unit 252 the content data determines whether PowerPoint format (step S32).
パワーポイント形式であると判断した場合（ステップＳ３２のＹｅｓ）、コンテンツデータ変換部２５２はパワーポイントファイルの各スライドをＰＮＧ形式の画像データに変換し（ステップＳ３３）、ＰＮＧ形式の画像データセットを作成し（ステップＳ３９）、処理を終了する。 If it is determined that the power point format (Yes in step S32), the contents data conversion unit 252 converts each slide PowerPoint file to the image data of PNG format (step S33), it generates image data set or PNG ( step S39), the process is terminated.
パワーポイント形式でないと判断した場合（ステップＳ３２のＮｏ）、コンテンツデータ変換部２５２はコンテンツデータがＰＤＦ形式であるか否か判断する（ステップＳ３４）。 If it is judged not to PowerPoint format (No in step S32), the contents data conversion unit 252 the content data determines whether PDF format (step S34).
ＰＤＦ形式であると判断した場合（ステップＳ３４のＹｅｓ）、コンテンツデータ変換部２５２はＰＤＦファイルの各ページをＰＮＧ形式の画像データに変換し（ステップＳ３５）、ＰＮＧ形式の画像データセットを作成し（ステップＳ３９）、処理を終了する。 If it is determined that the PDF format (Yes in step S34), the contents data conversion unit 252 converts each page of a PDF file to the image data of PNG format (step S35), it generates image data set or PNG ( step S39), the process is terminated.
ＰＤＦ形式でないと判断した場合（ステップＳ３４のＮｏ）、コンテンツデータ変換部２５２はコンテンツデータがＰＮＧ以外の画像形式であるか否か判断する（ステップＳ３６）。 If it is judged not to PDF format (No in step S34), the contents data conversion unit 252 the content data determines whether the image format other than PNG (step S36).
ＰＮＧ以外の画像形式であると判断した場合（ステップＳ３６のＹｅｓ）、コンテンツデータ変換部２５２は画像ファイルをＰＮＧ形式の画像データに変換し（ステップＳ３７）、ＰＮＧ形式の画像データセットを作成し（ステップＳ３９）、処理を終了する。 If it is determined that the image format other than PNG (Yes in step S36), the contents data conversion unit 252 converts the image file into image data of PNG format (step S37), it generates image data set or PNG ( step S39), the process is terminated.
ＰＮＧ以外の画像形式でないと判断した場合（ステップＳ３６のＮｏ）、コンテンツデータ変換部２５２はコンテンツデータがＰＮＧ形式であるか否か判断する（ステップＳ３８）。 If it is judged not to be the image format other than PNG (No in step S36), the contents data conversion unit 252 determines whether the content data is PNG format (step S38).
ＰＮＧ形式であると判断した場合（ステップＳ３８のＹｅｓ）、コンテンツデータ変換部２５２はＰＮＧ形式の画像データセットを作成し（ステップＳ３９）、処理を終了する。 If it is determined that the PNG format (Yes in step S38), the contents data conversion unit 252 creates the image data sets in PNG format (step S39), and ends the process.
ＰＮＧ形式でないと判断した場合（ステップＳ３８のＮｏ）、コンテンツデータ変換部２５２はそのまま処理を終了する。 If it is judged not to PNG format (No in step S38), the contents data conversion unit 252 ends the process.
＜外部スナップショット生成処理＞ <External snapshot creation processing>
図６は外部スナップショット生成処理の例を示すフローチャートである。 6 is a flow chart showing an example of an external snapshot creation processing.
図６において、外部スナップショット生成部２５４は処理を開始すると、ＰＮＧ形式の画像データをコンテンツデータ変換部２５２から取得する（ステップＳ４１）。 6, an external snapshot creation unit 254 starts the processing to acquire the image data of PNG format from the content data conversion section 252 (step S41).
次いで、外部スナップショット生成部２５４は空のスナップショットデータを生成する（ステップＳ４２）。 Then, the external snapshot creation unit 254 generates an empty snapshot data (step S42).
次いで、外部スナップショット生成部２５４はスナップショットデータのキャプチャ画像に取得した画像を登録する（ステップＳ４３）。 Then, the external snapshot creation unit 254 registers the image acquired in the capture image of the snapshot data (step S43).
次いで、外部スナップショット生成部２５４は取得した画像を合成してスナップショット画像を生成し、スナップショットデータのスナップショット画像に登録する（ステップＳ４４）。 Then, the external snapshot creation unit 254 combines the images acquired to generate a snapshot image is registered in the snapshot image of the snapshot data (step S44).
次いで、外部スナップショット生成部２５４はスナップショットデータの作成時刻に現在の時刻を登録する（ステップＳ４５）。 Then, the external snapshot creation unit 254 registers the current time creation time of the snapshot data (step S45).
次いで、外部スナップショット生成部２５４はスナップショットデータの修正時刻に現在の時刻を登録する（ステップＳ４６）。 Then, the external snapshot creation unit 254 registers the current time in the modification time of the snapshot data (step S46).
次いで、外部スナップショット生成部２５４はスナップショットデータの順序識別子に最大の順序識別子に１を加えた数値を代入する（ステップＳ４７）。 Then, the external snapshot creation unit 254 assigns a numerical value obtained by adding 1 to the maximum order identifier sequence identifier of the snapshot data (step S47).
次いで、外部スナップショット生成部２５４はスナップショットデータの外部スナップショットフラグにＴｒｕｅを登録する（ステップＳ４８）。 Then, the external snapshot creation unit 254 registers the True to external snapshot flag of snapshot data (step S48).
次いで、外部スナップショット生成部２５４はスナップショットデータをスナップショットＤＢに保存し（ステップＳ４９）、処理を終了する。 Then, the external snapshot creation unit 254 stores the snapshot data in the snapshot DB (step S49), the process ends.
＜アプリケーション例＞ <Application Examples>
図７は画像処理装置１１０の表示部１１２に表示されるアプリケーション画面３００の例を示す図である。 Figure 7 is a diagram showing an example of an application screen 300 displayed on the display unit 112 of the image processing apparatus 110.
以下、画像処理装置１１０上で動作する電子黒板アプリケーション（電子情報ボードアプリケーション）をもとに操作方法を説明する。 Hereinafter, based on explaining how to operate the electronic blackboard application (electronic information board application) that operates on the image processing apparatus 110. 電子黒板アプリケーションの詳細な実現方法は明示しないが、画像処理装置１１０を構成するＰＣのＯＳとしてマイクロソフト社のＷｉｎｄｏｗ７、アプリケーションの開発プラットフォームとしてマイクロソフト社のＷＰＦ（Windows Presentation Foundation）の利用を前提とする。 Although not explicitly detailed implementation of the electronic blackboard application, Window7 Microsoft Corporation as OS of the PC constituting the image processing apparatus 110 assumes the use of Microsoft WPF (Windows Presentation Foundation) as an application development platform.
まず、ユーザはペンデバイスなどを用いて画面上を直接操作する。 First, the user operates directly on the screen by using a pen device.
ユーザが操作ボタンバー３０２の書き込みボタン３０３を押下した後、操作ボタンバー３０２およびスナップショットバー３１２以外の画面領域をタップ＆ドラッグすることで書き込みを行う。 After the user presses the write button 303 of the operation button bar 302 writes by tapping and dragging the screen region other than the operation button bar 302 and snapshot bar 312. なお、ユーザが書き込み編集ボタン３０６もしくは書き込み削除ボタン３０７を押下するまで画面領域でのタップ＆ドラッグは書き込みとなる。 Incidentally, tap and drag in the screen area until the user presses the write edit button 306 or write the delete button 307 is a write.
次に、ユーザが操作ボタンバー３０２の書き込み編集ボタン３０６を押下した後、画面領域内の書き込みストロークをタップ＆ドラッグすることで選択し、選択領域を編集（拡大、縮小、移動）する。 Then, after the user presses the write editing button 306 of the operation button bar 302 to select by tapping and dragging the writing strokes of the screen area, edit the selected region (enlargement, reduction, movement) to. なお、ユーザが書き込みボタン３０３もしくは書き込み削除ボタン３０７を押下するまで画面領域での操作は書き込み編集となる。 Note that the operation in the screen area until the user presses the write button 303 or write the delete button 307 is a write editing.
次に、ユーザが操作ボタンバー３０２の書き込み削除ボタン３０７を押下した後、画面領域内の書き込みストロークをクロスするようにタップ＆ドラッグすることで書き込み削除を行う。 Then, after the user presses the write deletion button 307 of the operation button bar 302 writes deletion by tapping and dragging to cross the write stroke of the screen area. なお、ユーザが書き込みボタン３０３もしくは書き込み編集ボタン３０６を押下するまで画面領域での操作は書き込み削除となる。 Note that the operation in the screen area until the user presses the write button 303 or write edit button 306 is a write delete.
次に、ユーザが操作ボタンバー３０２のペン色変更ボタン３０４を押下することで書き込み時の書き込みストロークの色を変更する。 Next, change the color of the writing strokes when writing by the user presses the pen color change button 304 of the operation button bar 302. 黒、赤、青、緑それぞれのペン色変更ボタン３０４を押下すると書きこみストロークの色は対応する色に変更される。 Black, red, blue, the color of the stroke writing and pressing the green each pen color change button 304 is changed to the corresponding color.
次に、ユーザが操作ボタンバー３０２のペン幅変更ボタン３０５を押下することで書き込み時の書き込みストロークの線幅を変更する。 Then, the user changes the line width of the write stroke at the time of writing by pressing the pen width change button 305 of the operation button bar 302.
次に、ユーザが操作ボタンバー３０２の接続ＰＣ画面表示ボタン３０９を押下することで、接続しているＰＣの画面内容である接続ＰＣ画面３０１を表示する。 Next, the user presses a connection PC screen display button 309 of the operation button bar 302, and displays the connection PC screen 301 is a screen content of the PC connected. なお、接続ＰＣ画面３０１を表示できる画面内容もスナップショットとして管理するが、通常のスナップショットとは区別する。 Note that the screen content can be displayed to connect PC screen 301 is also managed as a snapshot, distinguished from ordinary snapshots. また、ユーザが画像処理装置１１０の接続ケーブルをノートＰＣの映像出力端子に接続していない場合や、記録したスナップショットの画面内容が表示されている場合、接続ＰＣ画面表示ボタン３０９は利用不可となる。 Further, and when the user is not connected to the connecting cable of the image processing apparatus 110 to the video output terminal of the notebook PC, if the screen contents of the recorded snapshot is being displayed, connected PC screen display button 309 and not available Become.
次に、ユーザが操作ボタンバー３０２のスナップショットボタン３０８を押下することで画面の表示内容をもとにスナップショットを新規に生成・保存し、保存されたスナップショットはスナップショットバー３１２内のスナップショット表示ボタン３１４として表示される。 Next, the user generates and saves based on a snapshot of the display contents of the screen to the new by pressing the snapshot button 308 of the operation button bar 302, the stored snapshot snap in the snapshot bar 312 It is displayed as a shot display button 314. なお、スナップショットを生成する際、外部スナップショットフラグはｆａｌｓｅとする。 Incidentally, when generating a snapshot, external snapshot flag is set to false.
次に、ユーザが操作ボタンバー３０２のスナップショット保存ボタン３１０を押下することですべての記録したスナップショットのスナップショット画像をユーザが指定するＵＳＢメモリやネットワークドライブ等の記憶装置に保存する。 Then stored in a storage device such as a USB memory or network drive all recorded snapshot of a snapshot image by the user pressing the Save Snapshot button 310 of the operation button bar 302 the user specifies. また、スナップショット画像を添付ファイルとしてメールを送信する方式を用いてもよい。 It is also possible to use a method of sending mail snapshot image as an attached file.
次に、ユーザがスナップショットバー３１２のスナップショット表示ボタン３１４を押下することで各スナップショット表示ボタン３１４に対応する記録したスナップショットを画面内容として表示する。 Then, to display the user recorded snapshot corresponding to the snapshot display button 314 by pressing the snapshot display button 314 of the snapshot bar 312 as the screen content. なお、画面内容を切り替える際は、それまで表示していた画面内容は自動的に記録・更新され、スナップショット表示ボタン３１４には外部スナップショットフラグがｆａｌｓｅのスナップショットが表示される。 Incidentally, when switching the screen contents, it until the screen content that has been displayed is automatically recorded and updated, external snapshot flag is displayed snapshot false the snapshot display button 314.
次に、ユーザがスナップショットバー３１２のスナップショットリスト切り替えボタン３１３、３１５を押下することでスナップショットバー３１２に表示されるスナップショット表示ボタン３１４をスクロールし、表示されていないスナップショット表示ボタン３１４を表示する。 Next, the snapshot display button 314 which the user scrolls the snapshot display button 314 that appears in the snapshot bar 312 by pressing the snapshot list switching button 313, 315 of the snapshot bar 312, does not appear indicate. 例えば、１から１０の順序識別子を持つスナップショットが保存されている場合、左側に配置しているスナップショットリスト切り替えボタン３１３を押下すると、左端のＳＳ３に対応するスナップショット表示ボタン３１４が非表示となり、ＳＳ４からＳＳ６のスナップショット表示ボタン３１４がそれぞれ左側にシフトし、ＳＳ６の右側にＳＳ７に対応するスナップショット表示ボタン３１４を表示する。 For example, if the snapshot having the sequence identifier 1 from 10 is stored, and presses the snapshot list switch button 313 are disposed on the left side, the snapshot display button 314 corresponding to SS3 of the left end is hidden snapshot display button 314 from SS4 SS6 is shifted to the left, respectively, and displays the snapshot display button 314 corresponding to the SS7 to the right of SS6. また、右に配置しているスナップショットリスト切り替えボタン３１５を押下すると、右端のＳＳ６に対応するスナップショット表示ボタン３１４が非表示となり、ＳＳ３からＳＳ５のスナップショット表示ボタン３１４がそれぞれ右側にシフトし、ＳＳ３の左側にＳＳ２に対応するスナップショット表示ボタン３１４を表示する。 Further, when pressing the snapshot list switching button 315 are arranged on the right, the snapshot display button 314 corresponding to the right end of SS6 is not displayed, then shifted to the right snapshot display button 314 SS5 from SS3, respectively, to display the snapshot display button 314 corresponding to the SS2 on the left side of the SS3. なお、スナップショットリスト切り替えボタン３１３、３１５が押下された場合、新規に表示するスナップショット表示ボタン３１４に対応するスナップショットが存在しない場合は、表示はそのままとなる。 Incidentally, if the snapshot list switching button 313, 315 is pressed, if the snapshot corresponding to the snapshot display button 314 to be newly displayed is not present, the display will be as it is.
次に、ユーザがスナップショットバー３１２の接続ＰＣ画面表示ボタン３１６を押下することで接続ＰＣ画面３０１が表示できる画面内容を表示する。 Next, the user displays the screen contents to show the connection PC screen 301 by pressing the connect PC screen display button 316 for snapshot bar 312. なお、スナップショット表示ボタン３１４と同様に、画面内容を切り替える際は、それまで表示していた画面内容は自動的に記録・更新される。 Similarly to the snapshot display button 314, when switching screens contents of screen content which has been displayed until it is automatically recorded and updated.
次に、ユーザがスナップショットバー３１２の外部スナップショット表示ボタン３１８を押下することで各外部スナップショット表示ボタン３１８に対応する、ユーザが画像処理装置１１０にコンテンツデータを送信することで生成・登録された外部スナップショットが通常のスナップショットに変更され（外部スナップショットフラグがｆａｌｓｅになる）、押下した外部スナップショット表示ボタン３１８が利用不可となり、変更されたスナップショットに対応するスナップショット表示ボタン３１４が表示され、かつスナップショットの画面内容が表示される。 Next, the user corresponding to each external snapshot display button 318 by pressing the external snapshot display button 318 snapshots bar 312, the user is generated and registered by sending the contents data to the image processing apparatus 110 external snapshot is changed to a normal snapshot (external snapshot flag is false), external snapshot display button 318 becomes unavailable, the snapshot display button 314 corresponding to the changed snapshot pressed It is displayed, and the screen contents of the snapshot is displayed. なお、画面内容を切り替える際は、それまで表示していた画面内容は自動的に記録・更新され、スナップショット表示ボタン３１４には外部スナップショットフラグがｔｒｕｅのスナップショットが表示される。 Incidentally, when switching the screen contents, the screen content that has been displayed until then is automatically recorded and updated, external snapshot flag is displayed snapshot true the snapshot display button 314.
次に、ユーザがスナップショットバー３１２の外部スナップショットリスト切り替えボタン３１７、３１９を押下することでスナップショットバー３１２に表示される外部スナップショット表示ボタン３１８をスクロールし、表示されていない外部スナップショット表示ボタン３１８を表示する。 Then, scroll the external snapshot display button 318 which the user is displayed in the snapshot bar 312 by pressing the external snapshot list switching button 317, 319 of the snapshot bar 312, external snapshot display that are not displayed to display the button 318. なお、外部スナップショットリスト切り替えボタン３１７、３１９が押下された場合、新規に表示する外部スナップショット表示ボタン３１８に対応する外部スナップショットが存在しない場合は、表示はそのままとなる。 Incidentally, if the external snapshot list switching button 317, 319 is pressed, when an external snapshot corresponding to the external snapshot display button 318 to be newly displayed is not present, the display will be as it is.
＜画面遷移例＞ <Screen transition example>
図８は、黒板アプリケーションを起動させた直後のアプリケーション画面３００の初期画面の例を示しており、画面上には操作ボタンバー３０２とスナップショットバー３１２のみが表示されている。 Figure 8 shows an example of the initial screen of the application screen 300 immediately after activating the blackboard application, on the screen only the operation button bar 302 and the snapshot bar 312 are displayed. また、起動直後は接続ＰＣ画面が表示できることを示すために接続ＰＣ画面表示ボタン３１６が強調表示される。 Further, immediately after startup is connected PC screen display button 316 to indicate that the connection PC screen can be displayed is highlighted. また、起動直後はスナップショットと外部スナップショットは保存されていないためスナップショットバー３１２のスナップショット表示ボタン３１４と外部スナップショット表示ボタン３１８はともに空となる。 In addition, snapshot and external snapshot is immediately after the start-up is a snap shot display button 314 and an external snapshot display button 318 of the snapshot bar 312 because they are not saved are both empty.
図９は、ユーザのノートＰＣの映像出力端子に画像処理装置１１０の映像ケーブルを接続後、スナップショットバー３１２の接続ＰＣ画面表示ボタン３１６を押下して接続ＰＣ画面３０１を表示し、さらに、操作ボタンバー３０２の青色のペン色変更ボタン３０４を選択し、画面上をタップ＆ドラッグすることで接続ＰＣ画面３０１の表示上に直接に「ポイント」という文字等を手書きストロークにより書き込んだ状態を示している。 Figure 9 displays the connection PC screen 301 by pressing the connect PC screen display button 316 after connecting the video cable of the image processing apparatus 110 to the video output terminal of a user of the notebook PC, the snapshot bars 312, further, the operation select the blue pen color change button 304 of the button bar 302, it shows the state written by handwriting strokes characters such as "point" directly onto the display of the PC connected screen 301 by tapping and dragging on the screen there.
図１０は、操作ボタンバー３０２のスナップショットボタン３０８を押下することで現在の表示内容のスナップショットを記録・保存し、スナップショット画像のサムネイルが表示されたスナップショット表示ボタン３１４がスナップショットバー３１２に表示された状態を示している。 10, the operation button bar 302 by pressing the snapshot button 308 of the recording and storing a snapshot of the current display content, a snapshot snapshot display button 314 thumbnail is displayed snapshot image bar 312 It shows a display state in. また、接続ＰＣ画面３０１が表示可能な表示面でスナップショットが記録された場合は、表示画面上の書き込みストロークは自動的に削除される。 Also, if the connection PC screen 301 snapshots are recorded in a display surface capable of displaying, writing strokes on the display screen are automatically deleted. ここで、ユーザが生成されたスナップショット表示ボタン３１４を押下すると表示内容はスナップショットの内容に切り替わる。 Here, the display content and pressing the snapshot display button 314 the user is generated is switched to the contents of the snapshot.
図１１は、会議参加ユーザが各自のノートＰＣから予め定められているメールアドレスへパワーポイントファイルを添付ファイルとしてメールを送信する場合の添付ファイルの例を示している。 Figure 11 shows an example of attachments when the conference participant user to send mail as an attachment a PowerPoint file to the mail address that is set in advance from their notebook PC. ここでは２ページのスライド画像が含まれているものとしている。 Here, it is assumed that contains slide images of two pages.
図１２は、画像処理装置１１０を利用しているユーザが操作ボタンバー３０２の赤色のペン色変更ボタン３０４を選択し、画面上をタップ＆ドラッグして接続ＰＣ画面３０１表示上に直接「Ｃｈｅｃｋ」という文字等を書き込んでいる途中に、画像処理装置１１０は受信したパワーポイントファイルの各スライドを画像データに変換し、２つの外部スナップショットを生成・保存後、２つの外部スナップショットのスナップショット画像が表示されている外部スナップショット表示ボタン３１８をスナップショットバー３１２に表示した状態を示している。 Figure 12 selects the user using the image processing apparatus 110 is a red pen color changing button 304 of the operation button bar 302, connected PC screen 301 directly onto the display by tapping and dragging on the screen "Check" in the middle of writing a character like that converts each slide of the image processing apparatus 110 is PowerPoint files received to the image data, after generating and storing two external snapshot, the two external snapshot snapshot image It shows a display state of the external snapshot display button 318 displayed in the snapshot bar 312.
図１３は、スナップショットバー３１２の外部スナップショット表示ボタン３１８を押下することで、表示内容を対応する外部スナップショットに切り替えた状態を示している。 13, by pressing the external snapshot display button 318 snapshots bar 312 shows a state in which switching to the external snapshot corresponding to display contents. 外部スナップショット表示ボタン３１８が押下されると、対応する外部スナップショットの外部スナップショットフラグがｆａｌｓｅになり、スナップショット表示ボタン３１４として新規に追加表示されるため、押下された外部スナップショット表示ボタン３１８は利用不可状態となり、同様のサムネイルが表示されたスナップショット表示ボタン３１４が追加表示され、現在の画面表示内容であることを示すために枠がハイライト表示される。 When external snapshot display button 318 is pressed, the corresponding external snapshot external snapshot flag of becomes false, to be newly additionally displayed as a snapshot display button 314, an external snapshot display button is pressed 318 becomes unusable state, to display the additional snapshot display button 314 similar thumbnail is displayed, the frame is highlighted to indicate that it is the current screen display.
このようにして画像処理装置１１０の利用者の操作を遮ることなく、会議参加者が共有したいコンテンツデータを含むスナップショットを追加することできる。 Thus without interrupting the operation of the user of the image processing apparatus 110, it may be to add a snapshot conference participants including content data to be shared.
１００ 画像処理システム １１０ 画像処理装置 １１２ 表示部 １２４ ケーブル １２６ ケーブル １３０ａ、１３０ｂ ユーザＰＣ 100 image processing system 110 image processing apparatus 112 display unit 124 cable 126 cable 130a, 130b the user PC
２００ プロセッサ ２０２ ＲＯＭ 200 processor 202 ROM
２０６ 画像取得部 ２０８ ビデオＲＡＭ 206 image acquisition unit 208 video RAM
２１０ イベント処理部 ２１２ アプリ画像生成部 ２１４ レイアウト管理部 ２１６ 描画生成部 ２１８ 合成部 ２２０ 表示制御部 ２２２ スナップショット生成部 ２２４ 座標検出部 ２２６ 接触検知部 ２２８ リポジトリ管理部 ２３０ 記憶装置 ２３２ 画像入力インタフェース ２３４ 画像入出力インタフェース ２４０ 描画装置 ２５０ コンテンツデータ受信部 ２５２ コンテンツデータ変換部 ２５４ 外部スナップショット生成部 210 event processing unit 212 application image generating unit 214 layout management unit 216 drawing generation unit 218 combining unit 220 display control unit 222 snapshot creation unit 224 coordinate detecting unit 226 contact detection unit 228 repository manager 230 memory device 232 an image input interface 234 images output interface 240 drawing apparatus 250 the content data receiving unit 252 the content data converting unit 254 external snapshot creation unit
特開２０１１−１９９４５０号公報 JP 2011-199450 JP
情報処理装置から表示画像を直接に取得する取得手段と、 Acquisition means for acquiring the display image directly from the information processing apparatus,
表示装置に対する物体の接触位置または接近位置を使用して描画画像を生成する描画生成手段と、 A drawing generating means for generating a rendered image using the contact position or proximity position of the object relative to the display device,
前記表示画像および前記描画画像を合成する合成手段と、 Synthesizing means for synthesizing the display image and the drawing image,
前記合成手段が合成した画像を前記表示装置に表示する表示制御手段と、 Display control means for displaying an image said combining means is synthesized to the display device,
前記表示画像および前記描画画像を再合成および再表示するための表示情報を記録・保存するための表示情報保存手段と、 Display information storage means for recording and storing display information for resynthesis and redisplay the displayed image and the drawing image,
任意の情報処理装置からネットワークを経由してコンテンツデータを受信するコンテンツデータ受信手段と、 Content data receiving means for receiving content data via the network from any information processing apparatus,
受信したコンテンツデータの内容を画像データに変換するコンテンツデータ変換手段と、 A content data conversion means for converting the contents of the received content data to the image data,
変換した画像データをもとに表示情報を生成し、前記表示情報保存手段に保存する外部スナップショット生成手段とを備え、 The converted image data to generate display information on the basis of an external snapshot creation means for storing the display information storage means,
前記表示情報保存手段に保存された表示情報を選択可能に表示し、選択された表示情報に基づく画像を前記表示装置に表示することを特徴とする画像処理装置。 Image processing apparatus and displaying an image based on the display information displaying information stored in the storage means and capable of displaying selected, the selected display information on the display device.
前記コンテンツデータ受信手段は、情報処理装置から送信される電子メールの添付データをコンテンツデータとして受信することを特徴とする画像処理装置。 The content data receiving means, the image processing apparatus characterized by receiving an e-mail attachment data transmitted from the information processing apparatus as content data.
前記コンテンツデータ受信手段は、情報処理装置からファイルアップロードされるデータをコンテンツデータとして受信することを特徴とする画像処理装置。 The content data receiving means, the image processing apparatus characterized by receiving data file uploaded from the information processing apparatus as content data.
画像を表示する表示装置と、当該表示装置に画像を供給する画像処理装置とを含む画像処理システムであって、 A display device for displaying an image, an image processing system including an image processing apparatus for supplying an image on the display device,
前記表示装置に対する物体の接触位置または接近位置を使用して描画画像を生成する描画生成手段と、 A drawing generating means for generating a rendered image using the contact position or proximity position of the object relative to the display device,
前記表示情報保存手段に保存された表示情報を選択可能に表示し、選択された表示情報に基づく画像を前記表示装置に表示することを特徴とする画像処理システム。 Image processing system and displaying an image based on the display information displaying information stored in the storage unit can display the selected selected display information on the display device.
画像処理装置を構成するコンピュータを、 The computer constituting the image processing apparatus,
情報処理装置から表示画像を直接に取得する取得手段、 Obtaining means for obtaining a display image directly from the information processing apparatus,
表示装置に対する物体の接触位置または接近位置を使用して描画画像を生成する描画生成手段、 Drawing generating means for generating a rendered image using the contact position or proximity position of the object relative to the display device,
前記表示画像および前記描画画像を合成する合成手段、 The display image and combining means for combining the drawing images,
前記合成手段が合成した画像を前記表示装置に表示する表示制御手段、 Display control means for displaying an image in which the combining means is synthesized to the display device,
前記表示画像および前記描画画像を再合成および再表示するための表示情報を記録・保存するための表示情報保存手段、 The display image and the display information storage means for recording and storing display information for resynthesis and redisplay the drawn image,
任意の情報処理装置からネットワークを経由してコンテンツデータを受信するコンテンツデータ受信手段、 Content data receiving means for receiving content data via the network from any information processing apparatus,
受信したコンテンツデータの内容を画像データに変換するコンテンツデータ変換手段、 Contents data conversion means for converting the contents of the received content data to the image data,
変換した画像データをもとに表示情報を生成し、前記表示情報保存手段に保存する外部スナップショット生成手段として機能させ、 The converted image data to generate display information based, to function as an external snapshot creation means for storing the display information storage means,
前記表示情報保存手段に保存された表示情報を選択可能に表示し、選択された表示情報に基づく画像を前記表示装置に表示する画像処理プログラム。 An image processing program for displaying an image based on said display information storage means display information stored to be able to display selected, the selected display information on the display device.
JP2012082242A 2012-03-30 2012-03-30 Image processing apparatus Active JP5935456B2 (en)
EP20130161059 EP2645622B1 (en) 2012-03-30 2013-03-26 Image processing apparatus and image processing system
US13851271 US9098947B2 (en) 2012-03-30 2013-03-27 Image processing apparatus and image processing system
JP2013210957A true true JP2013210957A (en) 2013-10-10
JP5935456B2 JP5935456B2 (en) 2016-06-15
JP2012082242A Active JP5935456B2 (en) 2012-03-30 2012-03-30 Image processing apparatus
JP2012037700A (en) * 2010-08-06 2012-02-23 Ricoh Co Ltd Image display device, image display system, image display method, and recording medium
US20110126129A1 (en) 2011-05-26 Image-drawing processing system, server, user terminal, image-drawing processing method, program, and storage medium