(57)【要約】【課題】操作対象装置に対するデータの入出力を伴わずに操作手順書を生成する。【解決手段】コンピュータに、操作対象装置３における表示画面についての動画像を取得し、操作対象装置３に対応付けられた入力デバイス３１，３２への入力操作によって生成されるセンサ情報を取得し、動画像とセンサ情報とに基づき、入力操作に対応する操作手順に関する静止画像を生成し、操作手順と静止画像とを対応付けた文書４を出力する、処理を実行させる。【選択図】図１
2020123116.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
操作対象装置における表示画面についての動画像を取得し、
前記操作対象装置に対応付けられた入力デバイスへの入力操作によって生成されるセンサ情報を取得し、
前記動画像と前記センサ情報とに基づき、前記入力操作に対応する操作手順に関する静止画像を生成し、前記操作手順と前記静止画像とを対応付けた文書を出力する、
処理を実行させる、文書生成プログラム。
【請求項２】
前記表示画面におけるポインタの画像とウィンドウ領域との少なくともいずれかを特定して、前記操作手順に関する文字列を特定する、
処理を前記コンピュータに実行させる、請求項１に記載の文書生成プログラム。
【請求項３】
前記動画像のうち直前のフレームと類似しないフレームについて、前記静止画像を生成する、
処理を前記コンピュータに実行させる、請求項１又は２に記載の文書生成プログラム。
【請求項４】
前記動画像のうち前記センサ情報によって前記入力操作の発生を検知したタイミングの前後のフレームについて、前記静止画像を生成する、
処理を前記コンピュータに実行させる、請求項１又は２に記載の文書生成プログラム。
【請求項５】
前記表示画面において表示された各情報のうち、表示可能な情報又は非表示にするべき情報が登録されたデータベースに基づき、前記静止画像における各情報の表示又は非表示を決定する、
処理を前記コンピュータに実行させる、請求項１〜４いずれか１項に記載の文書生成プログラム。
【請求項６】
前記センサ情報として、前記入力操作によって発生する音を取得する、
処理を前記コンピュータに実行させる、請求項１〜５のいずれか１項に記載の文書生成プログラム。
【請求項７】
前記センサ情報として、前記入力操作によって発生する前記操作対象装置への入力信号の有無に関する情報を取得する、
処理を前記コンピュータに実行させる、請求項１〜６のいずれか１項に記載の文書生成プログラム。
【請求項８】
前記センサ情報として、前記入力操作を行なうユーザの動きに関する情報を取得する、
処理を前記コンピュータに実行させる、請求項１〜７のいずれか１項に記載の文書生成プログラム。
【請求項９】
前記センサ情報として、前記入力操作を行なうユーザの視線に関する情報を取得する、
処理を前記コンピュータに実行させる、請求項１〜８のいずれか１項に記載の文書生成プログラム。
【請求項１０】
操作対象装置における表示画面についての動画像を取得する画像取得部と、
前記操作対象装置に対応付けられた入力デバイスへの入力操作によって生成されるセンサ情報を取得するセンサ取得部と、
前記動画像と前記センサ情報とに基づき、前記入力操作に対応する操作手順に関する静止画像を生成し、前記操作手順と前記静止画像とを対応付けた文書を出力する生成部と、
を備える、情報処理装置。
【請求項１１】
操作対象装置における表示画面についての動画像を取得し、
前記操作対象装置に対応付けられた入力デバイスへの入力操作によって生成されるセンサ情報を取得し、
前記動画像と前記センサ情報とに基づき、前記入力操作に対応する操作手順に関する静止画像を生成し、前記操作手順と前記静止画像とを対応付けた文書を出力する、
文書生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書生成プログラム、情報処理装置及び文書生成方法に関する。
【背景技術】
【０００２】
パーソナルコンピュータ（ＰＣ）の操作手順を可視化してドキュメントを生成するために、ＰＣへのソフトウェアのインストールが行なわれる場合がある。また、操作手順の伝達や記録にあたって、ＰＣから記録データが取り出されることがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１２１５１４号公報
【特許文献２】特開２００７−１１５３２号公報
【特許文献３】特開２００７−８０１６６号公報
【特許文献４】特開２００３−２０７４２９号公報
【特許文献５】特開平９−２２３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、セキュリティポリシーを設定する企業や団体が増え、ＰＣへのソフトウェアのインストールや記録データの取り出しが制限されたり、禁止されたりする場合がある。このため、ＰＣの操作手順を可視化してドキュメントを生成できないおそれがある。
【０００５】
１つの側面では、操作対象装置に対するデータの入出力を伴わずに操作手順書を生成することを目的とする。
【課題を解決するための手段】
【０００６】
文書生成プログラムは、コンピュータに、操作対象装置における表示画面についての動画像を取得し、前記操作対象装置に対応付けられた入力デバイスへの入力操作によって生成されるセンサ情報を取得し、前記動画像と、前記センサ情報とに基づき、前記入力操作に対応する操作手順に関する静止画像を生成し、前記操作手順と前記静止画像とを対応付けた文書を出力する、処理を実行させる。
【発明の効果】
【０００７】
１つの側面では、操作対象装置に対するデータの入出力やソフトウェアのインストールを伴わずに操作手順書を生成できる。
【図面の簡単な説明】
【０００８】
【図１】実施形態の一例における変換システムの構成例を模式的に示すブロック図である。
【図２】図１に示した変換装置のハードウェア構成例を模式的に示すブロック図である。
【図３】図１に示した変換装置の機能構成例を模式的に示すブロック図である。
【図４】図１に示した操作手順ドキュメントを例示する図である。
【図５】図１に示した変換装置における文書生成処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して一実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。
【００１０】
また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
【００１１】
以下、図中において、同一の各符号は同様の部分を示しているので、その説明は省略する。
【００１２】
〔Ａ〕実施形態の一例
〔Ａ−１〕システム構成例
図１は、実施形態の一例における変換システム１００の構成例を模式的に示すブロック図である。
【００１３】
変換システム１００は、変換装置１，外部デバイス２及び操作対象ＰＣ３を備える。
【００１４】
操作対象ＰＣ３は、操作対象装置の一例であり、ユーザによって種々の作業が実施される端末である。操作対象ＰＣ３には、キーボード３１及びマウス３２が接続される。
【００１５】
キーボード３１やマウス３２は、入力デバイスの一例であり、これらの入力デバイスを介して、ユーザが各種の入力操作を行なう。
【００１６】
外部デバイス２は、記録デバイス２１及び検出デバイス２２を含む。
【００１７】
記録デバイス２１は、操作対象ＰＣ３の映像出力端子に接続されて、操作対象ＰＣ３に接続されるディスプレイ（不図示）に表示される画面についての動画像を記録する。映像出力端子の規格は、High Definition Multimedia Interface（ＨＤＭＩ（登録商標））やVideo Graphics Array（ＶＧＡ），Digital Visual Interface（ＤＶＩ），Display Port等であってよい。また、記録デバイス２１は、操作対象ＰＣ３に接続されなくてもよく、この場合にはビデオカメラ等であってよい。
【００１８】
検出デバイス２２は、キーボード３１及びマウス３２への入力操作によって生成される種々のセンサ情報を取得する。検出デバイス２２は、キーボード３１やマウス３２の操作音を取得するマイクを含んでよい。また、検出デバイス２２は、キーボード３１やマウス３２のコードにコイルを巻き付けることにより、キーボード３１やマウス３２への入力信号の有無を検知するセンサを含んでよい。更に、検出デバイス２２は、操作対象ＰＣ３への入力操作を行なうユーザの動きを検知するモーションセンサを含んでよい。ユーザの動きには、例えば指や手，腕，胴体，頭，首，顔，目，口，足の動きを含んでよい。また、検出デバイス２２は、操作対象ＰＣ３への入力操作を行なうユーザの視線を検知する視線センサを含んでよい。また、検出デバイス２２は、圧力センサを含んでよい。
【００１９】
このように、操作対象ＰＣ３の操作情報は操作対象ＰＣ３とは別の外部デバイス２により取得され、キーボード３１やマウス３２等の複数種類の操作情報の組み合わせから操作内容が特定される。外部デバイス２は、操作対象ＰＣ３に対してソフトウェアを含み一切のファイルを書き込まず、且つ、操作対象ＰＣ３から一切のファイル及び制御信号を読み出さない。
【００２０】
変換装置１は、情報処理装置の一例であり、記録デバイス２１によって取得された動画像を静止画像に変換する。
【００２１】
変換装置１は、Optical Character Recognition（ＯＣＲ）機能により、静止画像中の文字を認識する。また、変換装置１は、検出デバイス２２によって取得されたセンサ情報に基づき、操作対象ＰＣ３の画面内における操作箇所や着目箇所を抽出する。この際、変換装置１は、操作対象を、マウスポインタ画像とウィンドウ矩形との少なくとも一方の抽出により特定してもよい。
【００２２】
変換装置１は、操作対象ＰＣ３の画面内において表示すべき情報又は非表示にすべき情報が登録された秘匿要否情報１０１（別言すれば、「データベース」）に基づき、静止画像内における各情報の部分領域、または全体の表示又は非表示（別言すれば「マスキング」）を決定する。
【００２３】
秘匿要否情報１０１は、非表示にすべき情報として、例えば氏名や住所が登録される個人情報判定辞書を含む。また、秘匿要否情報１０１は、表示すべき情報として、例えば有名人の氏名や公共施設の住所が登録される公開情報データベース（別言すれば、「ホワイトリスト」）を含む。
【００２４】
変換装置１は、個人情報判定辞書に登録されている情報のうち、公開情報データベースに登録されていない情報を秘匿対象とする。また、変換装置１は、操作対象ＰＣ３の表示画面において、「パスワード」や「Password」等と表示されている箇所の周囲のエリアを秘匿対象としてよい。
【００２５】
変換装置１は、静止画像とセンサ情報とに基づき、操作手順フォーマット１０２を用いて、操作手順ドキュメント４を生成する。操作手順フォーマット１０２は、操作手順ドキュメント４の雛型である。
【００２６】
図２は、図１に示した変換装置１のハードウェア構成例を模式的に示すブロック図である。
【００２７】
変換装置１は、Central Processing Unit（ＣＰＵ）１１，メモリ１２，表示制御部１３，記憶装置１４，入力Interface（Ｉ／Ｆ）１５，読み書き処理部１６及び通信Ｉ／Ｆ１７を備える。
【００２８】
メモリ１２は、記憶部の一例であり、例示的に、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を含む記憶装置である。メモリ１２のＲＯＭには、Basic Input/Output System（ＢＩＯＳ）等のプログラムが書き込まれてよい。メモリ１２のソフトウェアプログラムは、ＣＰＵ１１に適宜に読み込まれて実行されてよい。また、メモリ１２のＲＡＭは、一次記録メモリあるいはワーキングメモリとして利用されてよい。
【００２９】
表示制御部１３は、表示装置１３０と接続され、表示装置１３０を制御する。表示装置１３０は、液晶ディスプレイやOrganic Light-Emitting Diode（ＯＬＥＤ）ディスプレイ，Cathode Ray Tube（ＣＲＴ），電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置１３０は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。
【００３０】
記憶装置１４は、例示的に、データを読み書きして記憶する装置であり、例えば、Hard Disk Drive（ＨＤＤ）やSolid State Drive（ＳＳＤ），Storage Class Memory（ＳＣＭ）が用いられてよい。
【００３１】
入力Ｉ／Ｆ１５は、マウス１５１やキーボード１５２等の入力装置と接続され、マウス１５１やキーボード１５２等の入力装置を制御する。マウス１５１やキーボード１５２は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行なう。
【００３２】
読み書き処理部１６は、記録媒体１６０が装着可能に構成される。読み書き処理部１６は、記録媒体１６０が装着された状態において、記録媒体１６０に記録されている情報を読み取り可能に構成される。本例では、記録媒体１６０は、可搬性を有する。例えば、記録媒体１６０は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、又は、半導体メモリ等である。
【００３３】
通信Ｉ／Ｆ１７は、外部装置との通信を可能にするためのインタフェースである。
【００３４】
ＣＰＵ１１は、種々の制御や演算を行なう処理装置であり、メモリ１２に格納されたOperating System（ＯＳ）やプログラムを実行することにより、種々の機能を実現する。
【００３５】
変換装置１全体の動作を制御するための装置は、ＣＰＵ１１に限定されず、例えば、ＭＰＵやＤＳＰ，ＡＳＩＣ，ＰＬＤ，ＦＰＧＡのいずれか１つであってもよい。また、変換装置１全体の動作を制御するための装置は、ＣＰＵ，ＭＰＵ，ＤＳＰ，ＡＳＩＣ，ＰＬＤ及びＦＰＧＡのうちの２種類以上の組み合わせであってもよい。なお、ＭＰＵはMicro Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific Integrated Circuitの略称である。また、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。
【００３６】
なお、操作対象ＰＣ３も、変換装置１と同様のハードウェア構成を有してよい。
【００３７】
図３は、図１に示した変換装置１の機能構成例を模式的に示すブロック図である。
【００３８】
図３に示すように、文書生成プログラム１１０は、画像取得部１１１，センサ取得部１１２及び生成部１１３として機能してよい。
【００３９】
なお、これらの画像取得部１１１，センサ取得部１１２及び生成部１１３としての機能を実現するためのプログラム（別言すれば、「文書生成プログラム１１０」）は、例えばフレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ等）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＨＤ  ＤＶＤ等）、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供されてよい。そして、コンピュータ（本実施形態ではＣＰＵ１１）は上述した記録媒体から図示しない読取装置を介してプログラムを読み取って内部記録装置または外部記録装置に転送し格納して用いてよい。また、プログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、記憶装置から通信経路を介してコンピュータに提供してもよい。
【００４０】
画像取得部１１１，センサ取得部１１２及び生成部１１３としての機能を実現する際には、内部記憶装置（本実施形態ではメモリ１２）に格納されたプログラムがコンピュータ（本実施形態ではＣＰＵ１１）によって実行されてよい。また、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。
【００４１】
画像取得部１１１は、操作対象ＰＣ３における表示画面についての動画像を取得する。
【００４２】
センサ取得部１１２は、操作対象ＰＣ３に対応付けられたキーボード３１及びマウス３２等への入力操作によって生成されるセンサ情報を取得する。センサ取得部１１２は、センサ情報として、入力操作によって発生する音を取得してよい。また、センサ取得部１１２は、センサ情報として、入力操作によって発生する操作対象ＰＣ３への入力信号の有無に関する情報を取得してよい。更に、センサ取得部１１２は、センサ情報として、入力操作を行なうユーザのモーションに関する情報を取得してよい。また、センサ取得部１１２は、センサ情報として、入力操作を行なうユーザの視線に関する情報を取得してよい。
【００４３】
生成部１１３は、動画像とセンサ情報とに基づき、入力操作に対応する操作手順に関する静止画像を生成し、操作手順と静止画像とを対応付けた操作手順ドキュメント４を出力する。生成部１１３は、動画像のうち直前のフレームと類似しないフレームについて、静止画像を生成してよい。また、生成部１１３は、動画像のうちセンサ情報によって入力操作の発生を検知したタイミングの前後のフレームについて、静止画像を生成してよい。更に、生成部１１３は、表示画面において表示された各情報のうち、表示可能な情報又は非表示にするべき情報が登録された秘匿要否情報１０１に基づき、静止画像における各情報の表示又は非表示を決定してよい。また、生成部１１３は、操作対象ＰＣ３の表示画面におけるポインタの画像とウィンドウ領域との少なくともいずれかを特定して、操作手順に関する文字列を特定してもよい。
【００４４】
図４は、図１に示した操作手順ドキュメント４を例示する図である。
【００４５】
操作手順ドキュメント４は、ステップ，画面イメージ，操作，備考を含む。また、操作手順ドキュメント４は、開始時刻及び処理時間を含んでもよい。
【００４６】
ステップは、各表示画面の順序を連番で示す。画面イメージは、画像取得部１１１によって取得された動画像から切り抜かれた静止画像である。操作は、操作対象ＰＣ３の操作内容を文字列や記号列で示す。備考は、操作対象ＰＣ３のユーザによる判断や手作業等を示す。開始時刻は、タイムスタンプと称されてもよく、該当するステップが開始された日時を示す。処理時間は、該当するステップの操作に要した時間（単位は例えば秒）を示す。
【００４７】
符号Ａ１に示すように、数字が表示されたラベルにより、操作箇所が示される。
【００４８】
符号Ａ２に示すように、個人情報等の秘匿すべき箇所が例えば斜線でマスキングされる。
【００４９】
〔Ａ−２〕動作例
図１に示した変換装置１における文書生成処理を、図５に示すフローチャート（ステップＳ１〜Ｓ９）に従って説明する。
【００５０】
画像取得部１１１は記録デバイス２１を用いて操作対象ＰＣ３の表示画面の動画を取得すると共に、センサ取得部１１２は検出デバイス２２を用いて操作対象ＰＣ３における操作内容を示すセンサ情報を取得する（ステップＳ１）。
【００５１】
生成部１１３は、表示画面の動画を静止画に変換する（ステップＳ２）。
【００５２】
生成部１１３は、タイムスタンプに基づき、静止画とセンサ情報とを関連付ける（ステップＳ３）。
【００５３】
生成部１１３は、静止画の間引き判定を行なう（ステップＳ４）。
【００５４】
対象の静止画と直前の静止画との類似度が高く、且つ、タイムスタンプでの関連付けられるセンサ情報がない場合には（ステップＳ４のＹｅｓルート参照）、処理はステップＳ９へ進む。すなわち、該当の静止画に対する処理が行なわれず、次の静止画に対する判定に移るため、該当の静止画が間引かれる。
【００５５】
一方、対象の静止画と直前の静止画との類似度が低く、又は、タイムスタンプでの関連付けられるセンサ情報がある場合には（ステップＳ４のＮｏルート参照）、生成部１１３は、操作対象ウィンドウ、操作内容及び名称情報を抽出する（ステップＳ５）。操作対象はマウスポインタ画像およびウィンドウ矩形の抽出により特定してもよい。操作対象文字列はＯＣＲを用いて抽出してもよい。なお、名称情報は、ウィンドウやファイル，シート，ボタン等の操作対象の名称である。
【００５６】
生成部１１３は、秘匿すべき箇所を抽出してマスキングする（ステップＳ６）。
【００５７】
生成部１１３は、操作内容を文字列化及び記号化する（ステップＳ７）。
【００５８】
生成部１１３は、静止画及び操作情報を操作手順フォーマット１０２に貼り付ける（ステップＳ８）。
【００５９】
生成部１１３は、次の静止画があるかを判定する（ステップＳ９）。
【００６０】
次の静止画がある場合には（ステップＳ９のＹｅｓルート参照）、処理はステップＳ２へ戻る。
【００６１】
一方、次の静止画がない場合には（ステップＳ９のＮｏルート参照）、文書生成処理は終了する。
【００６２】
〔Ａ−３〕効果
上述した実施形態の一例における変換装置１によれば、例えば、以下の作用効果を奏することができる。
【００６３】
画像取得部１１１は、操作対象ＰＣ３における表示画面についての動画像を取得する。センサ取得部１１２は、操作対象ＰＣ３に対応付けられたキーボード３１及びマウス３２等への入力操作によって生成されるセンサ情報を取得する。生成部１１３は、動画像とセンサ情報とに基づき、入力操作に対応する操作手順に関する静止画像を生成し、操作手順と静止画像とを対応付けた操作手順ドキュメント４を出力する。
【００６４】
これにより、操作対象ＰＣ３に対するデータの入出力を伴わずに操作手順ドキュメント４を生成できる。具体的には、操作対象ＰＣ３へのソフトウェアのインストールや記録データの取り出しなしに、操作対象ＰＣ３の操作手順を可視化してドキュメント化できる。また、操作対象ＰＣ３の手順を可視化して操作手順ドキュメント４を生成する際に、手作業で操作手順を取り纏めなくてよく、作業工数を少なくすることができる。
【００６５】
生成部１１３は、表示画面におけるポインタの画像とウィンドウ領域との少なくともいずれかを特定して、操作手順に関する文字列を特定する。
【００６６】
これにより、ユーザにとって理解しやすい操作手順ドキュメント４を生成できる。
【００６７】
生成部１１３は、動画像のうち直前のフレームと類似しないフレームについて、静止画像を生成してよい。また、生成部１１３は、動画像のうちセンサ情報によって入力操作の発生を検知したタイミングの前後のフレームについて、静止画像を生成してよい。
【００６８】
これにより、操作手順を説明するために必要十分な静止画像を操作手順ドキュメント４に組み入れることができ、操作手順ドキュメント４のデータサイズを低減できる。
【００６９】
生成部１１３は、表示画面において表示された各情報のうち、表示してもよい情報又は非表示にするべき情報が登録された秘匿要否情報１０１に基づき、静止画像における各情報の表示又は非表示を決定してよい。
【００７０】
これにより、操作対象ＰＣ３の表示画面における個人情報やパスワード等を操作手順ドキュメント４に表示させないようにできる。
【００７１】
センサ取得部１１２は、センサ情報として、入力操作によって発生する音を取得してよい。
【００７２】
これにより、キーボード３１の打鍵音やマウス３２のクリック音，ホイール回転音等によって、操作対象ＰＣ３への操作の有無を検知し、操作内容の認識精度を向上できる。
【００７３】
センサ取得部１１２は、センサ情報として、入力操作によって発生する操作対象ＰＣ３への入力信号の有無に関する情報を取得してよい。
【００７４】
これにより、キーボード３１やマウス３２のケーブルに巻き付けられたコイルによって、操作対象ＰＣ３への操作の有無を検知し、操作内容の認識精度を向上できる。
【００７５】
センサ取得部１１２は、センサ情報として、入力操作を行なうユーザのモーションに関する情報を取得してよい。
【００７６】
これにより、操作対象ＰＣ３を操作するユーザが打鍵したキーボード３１のキーのエリアを認識し、操作内容の認識精度を向上できる。
【００７７】
センサ取得部１１２は、センサ情報として、入力操作を行なうユーザの視線に関する情報を取得してよい。
【００７８】
これにより、操作対象ＰＣ３の画面内においてユーザが見ているエリアを認識し、操作内容と操作判断箇所との少なくとも一方の認識精度を向上できる。
【００７９】
〔Ｂ〕その他
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
【００８０】
〔Ｃ〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
【００８１】
（付記１）
コンピュータに、
操作対象装置における表示画面についての動画像を取得し、
前記操作対象装置に対応付けられた入力デバイスへの入力操作によって生成されるセンサ情報を取得し、
前記動画像と前記センサ情報とに基づき、前記入力操作に対応する操作手順に関する静止画像を生成し、前記操作手順と前記静止画像とを対応付けた文書を出力する、
処理を実行させる、文書生成プログラム。
【００８２】
（付記２）
前記表示画面におけるポインタの画像とウィンドウ領域との少なくともいずれかを特定して、前記操作手順に関する文字列を特定する、
処理を前記コンピュータに実行させる、付記１に記載の文書生成プログラム。
【００８３】
（付記３）
前記動画像のうち直前のフレームと類似しないフレームについて、前記静止画像を生成する、
処理を前記コンピュータに実行させる、付記１又は２に記載の文書生成プログラム。
【００８４】
（付記４）
前記動画像のうち前記センサ情報によって前記入力操作の発生を検知したタイミングの前後のフレームについて、前記静止画像を生成する、
処理を前記コンピュータに実行させる、付記１又は２に記載の文書生成プログラム。
【００８５】
（付記５）
前記表示画面において表示された各情報のうち、表示可能な情報又は非表示にするべき情報が登録されたデータベースに基づき、前記静止画像における各情報の表示又は非表示を決定する、
処理を前記コンピュータに実行させる、付記１〜４のいずれか１項に記載の文書生成プログラム。
【００８６】
（付記６）
前記センサ情報として、前記入力操作によって発生する音を取得する、
処理を前記コンピュータに実行させる、付記１〜５のいずれか１項に記載の文書生成プログラム。
【００８７】
（付記７）
前記センサ情報として、前記入力操作によって発生する前記操作対象装置への入力信号の有無に関する情報を取得する、
処理を前記コンピュータに実行させる、付記１〜６のいずれか１項に記載の文書生成プログラム。
【００８８】
（付記８）
前記センサ情報として、前記入力操作を行なうユーザの動きに関する情報を取得する、
処理を前記コンピュータに実行させる、付記１〜７のいずれか１項に記載の文書生成プログラム。
【００８９】
（付記９）
前記センサ情報として、前記入力操作を行なうユーザの視線に関する情報を取得する、
処理を前記コンピュータに実行させる、付記１〜８のいずれか１項に記載の文書生成プログラム。
【００９０】
（付記１０）
操作対象装置における表示画面についての動画像を取得する画像取得部と、
前記操作対象装置に対応付けられた入力デバイスへの入力操作によって生成されるセンサ情報を取得するセンサ取得部と、
前記動画像と前記センサ情報とに基づき、前記入力操作に対応する操作手順に関する静止画像を生成し、前記操作手順と前記静止画像とを対応付けた文書を出力する生成部と、
を備える、情報処理装置。
【００９１】
（付記１１）
前記生成部は、前記表示画面におけるポインタの画像とウィンドウ領域との少なくともいずれかを特定して、前記操作手順に関する文字列を特定する、
付記１０に記載の情報処理装置。
【００９２】
（付記１２）
前記生成部は、前記動画像のうち直前のフレームと類似しないフレームについて、前記静止画像を生成する、
付記１０又は１１に記載の情報処理装置。
【００９３】
（付記１３）
前記生成部は、前記動画像のうち前記センサ情報によって前記入力操作の発生を検知したタイミングの前後のフレームについて、前記静止画像を生成する、
付記１０又は１１に記載の情報処理装置。
【００９４】
（付記１４）
前記生成部は、前記表示画面において表示された各情報のうち、表示可能な情報又は非表示にするべき情報が登録されたデータベースに基づき、前記静止画像における各情報の表示又は非表示を決定する、
付記１０〜１３のいずれか１項に記載の情報処理装置。
【００９５】
（付記１５）
前記センサ取得部は、前記センサ情報として、前記入力操作によって発生する音を取得する、
付記１０〜１４のいずれか１項に記載の情報処理装置。
【００９６】
（付記１６）
前記センサ取得部は、前記センサ情報として、前記入力操作によって発生する前記操作対象装置への入力信号の有無に関する情報を取得する、
付記１０〜１５のいずれか１項に記載の情報処理装置。
【００９７】
（付記１７）
操作対象装置における表示画面についての動画像を取得し、
前記操作対象装置に対応付けられた入力デバイスへの入力操作によって生成されるセンサ情報を取得し、
前記動画像と前記センサ情報とに基づき、前記入力操作に対応する操作手順に関する静止画像を生成し、前記操作手順と前記静止画像とを対応付けた文書を出力する、
文書生成方法。
【００９８】
（付記１８）
前記表示画面におけるポインタの画像とウィンドウ領域との少なくともいずれかを特定して、前記操作手順に関する文字列を特定する、
付記１７に記載の文書生成方法。
【００９９】
（付記１９）
前記動画像のうち直前のフレームと類似しないフレームについて、前記静止画像を生成する、
付記１７又は１８に記載の文書生成方法。
【０１００】
（付記２０）
前記動画像のうち前記センサ情報によって前記入力操作の発生を検知したタイミングの前後のフレームについて、前記静止画像を生成する、
付記１７又は１８に記載の文書生成方法。
【符号の説明】
【０１０１】
１００  ：変換システム
１      ：変換装置
１１    ：ＣＰＵ
１２    ：メモリ
１３    ：表示制御部
１３０  ：表示装置
１４    ：記憶装置
１５    ：入力Ｉ／Ｆ
１５１  ：マウス
１５２  ：キーボード
１６    ：読み書き処理部
１６０  ：記録媒体
１７    ：通信Ｉ／Ｆ
１０１  ：秘匿要否情報
１０２  ：操作手順フォーマット
１１０  ：文書生成プログラム
１１１  ：画像取得部
１１２  ：センサ取得部
１１３  ：生成部
２      ：外部デバイス
２１    ：記録デバイス
２２    ：検出デバイス
３      ：操作対象ＰＣ
３１    ：キーボード
３２    ：マウス
４      ：操作手順ドキュメント
【図１】
2020123116.tif 000003
【図２】
2020123116.tif 000004
【図３】
2020123116.tif 000005
【図４】
2020123116.tif 000006
【図５】
2020123116.tif 000007