(57)【要約】【課題】ユーザが意図したプログラムを自動生成することが可能なプログラム生成装置及びプログラムを提供する。【解決手段】プログラム生成装置１の制御部１５は、ユーザが描画した絵コンテ用紙８を表す絵コンテ画像Ｉｃをスキャナ２から受信した場合、受信した絵コンテ画像Ｉｃを対象にして画像認識処理を実行し、絵コンテ画像Ｉｃに表されたキャラクタ、背景、特定記号等を認識する。次に、制御部１５は、各絵コンテ画像Ｉｃから抽出したキャラクタや特定記号等に基づき、プログラムを生成する。そして、制御部１５は、ステップＳ１０３で生成したプログラムを表示部１１に表示させる。【選択図】図４
2017220039.tif 000002
【特許請求の範囲】
【請求項１】
手書きストロークにより描かれた絵コンテの画像を取得する取得手段と、
前記画像の各々から、動作主体となる対象物を少なくとも抽出することで、前記絵コンテに基づく動画を表示するためのプログラムを生成する生成手段と、
を有することを特徴とするプログラム生成装置。
【請求項２】
前記生成手段が生成したプログラムを表示する表示手段をさらに備え、
前記表示手段は、前記対象物ごとに当該対象物の動作又は状態を規定するタグを並べたリストを、前記プログラムとして表示することを特徴とする請求項１に記載のプログラム生成装置。
【請求項３】
前記対象物の動作又は状態を規定する記号の情報を記憶する記憶手段をさらに備え、
前記生成手段は、前記画像の各々から、前記記憶手段に記憶された前記記号を抽出することで、前記動画中での前記対象物の動作又は状態を特定することを特徴とする請求項１または２に記載のプログラム生成装置。
【請求項４】
前記画像は、イラストが描画された第１領域と、前記イラストに対するコメントが記入された第２領域とを含み、
前記生成手段は、前記第１領域及び前記第２領域を対象に解析を行うことで、前記プログラムを生成することを特徴とする請求項１〜３のいずれか一項に記載のプログラム生成装置。
【請求項５】
前記取得手段は、前記手書きストロークが描かれた用紙を読取る光学機器が生成した前記画像を受信することを特徴とする請求項１〜４のいずれか一項に記載のプログラム生成装置。
【請求項６】
前記取得手段は、前記手書きストロークの位置を検出する入力装置の出力に基づき前記画像を生成することを特徴とする請求項１〜４のいずれか一項に記載のプログラム生成装置。
【請求項７】
コンピュータが実行するプログラムであって、
手書きストロークにより描かれた絵コンテの画像を取得する取得手段と、
前記画像の各々から、動作主体となる対象物を少なくとも抽出することで、前記絵コンテに基づく動画を表示するためのプログラムを生成する生成手段
として前記コンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラムの自動生成技術に関する。
【背景技術】
【０００２】
従来から、プログラムを自動生成する技術が知られている。例えば、特許文献１には、第１の動画像データと第２の動画像データとを再生時に合成するための合成手順を示す再生プログラムを自動生成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２８２４６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
プログラムの学習を開始する年齢の低年齢化に伴い、学校などにおいても生徒にプログラムに関する学習機会が増加することが見込まれる。この場合、先生が生徒に演習させるためのプログラムを作成したり、演習として生徒にプログラムを作成させたりする場合に、専門的な高度な知識を必要とすることなく簡易的にプログラムを作成できると便宜である。そこで、本発明は、ユーザが意図したプログラムを自動生成することが可能なプログラム生成装置及びプログラムを提供することを主な課題とする。
【課題を解決するための手段】
【０００５】
本発明の１つの観点では、プログラム生成装置は、手書きストロークにより描かれた絵コンテの画像を取得する取得手段と、前記画像の各々から、動作主体となる対象物を少なくとも抽出することで、前記絵コンテに基づく動画を表示するためのプログラムを生成する生成手段と、を有する。
【０００６】
上記プログラム生成装置は、取得手段と、生成手段とを備える。取得手段は、手書きストロークにより描かれた絵コンテの画像を取得する。生成手段は、取得手段が取得した画像の各々から、動作主体となる対象物を少なくとも抽出することで、絵コンテに基づく動画を表示するためのプログラムを生成する。この態様により、プログラム生成装置は、ユーザが手書きにより作成した絵コンテ中の対象物の遷移を特定し、絵コンテに沿った動画を表示するためのプログラムを好適に自動生成することができる。
【０００７】
上記プログラム生成装置の一態様では、プログラム生成装置は、前記生成手段が生成したプログラムを表示する表示手段をさらに備え、前記表示手段は、前記対象物ごとに当該対象物の動作又は状態を規定するタグを並べたリストを、前記プログラムとして表示する。プログラム生成装置は、この態様により、プログラミング言語によるソースコードではなく、直感的に把握可能なタグのリストを対象物ごとに表示することで、生成されたプログラムを好適にユーザに確認させることができる。
【０００８】
上記プログラム生成装置の他の一態様では、プログラム生成装置は、前記対象物の動作又は状態を規定する記号の情報を記憶する記憶手段をさらに備え、前記生成手段は、前記画像の各々から、前記記憶手段に記憶された前記記号を抽出することで、前記動画中での前記対象物の動作又は状態を特定する。この態様により、プログラム生成装置は、プログラム生成装置が解釈可能な記号を用いて、対象物の動作や状態を絵コンテ中においてユーザに好適に指定させることができる。
【０００９】
上記プログラム生成装置の他の一態様では、前記画像は、イラストが描画された第１領域と、前記イラストに対するコメントが記入された第２領域とを含み、前記生成手段は、前記第１領域及び前記第２領域を対象に解析を行うことで、前記プログラムを生成する。この態様により、プログラム生成装置は、第２領域に記入されたコメントをさらに勘案し、よりユーザの意図に即した動画を再生するためのプログラムを生成することができる。
【００１０】
上記プログラム生成装置の他の一態様では、前記取得手段は、前記手書きストロークが描かれた用紙を読取る光学機器が生成した前記画像を受信する。この態様により、プログラム生成装置は、ユーザが用紙に描いた絵コンテに基づき、好適にプログラムを生成することができる。
【００１１】
上記プログラム生成装置の他の一態様では、前記取得手段は、前記手書きストロークの位置を検出する入力装置の出力に基づき前記画像を生成する。この態様により、プログラム生成装置は、タッチパネルなどの入力装置上にユーザが描いた絵コンテに基づき、好適にプログラムを生成することができる。
【００１２】
本発明に好適なさらに別の実施形態では、コンピュータが実行するプログラムであって、手書きストロークにより描かれた絵コンテの画像を取得する取得手段と、前記画像の各々から、動作主体となる対象物を少なくとも抽出することで、前記絵コンテに基づく動画を表示するためのプログラムを生成する生成手段として前記コンピュータを機能させる。このプログラムをコンピュータにインストールして実行させることで、本発明に係るプログラム生成装置を構成させることができる。
【発明の効果】
【００１３】
本発明に係るプログラム生成装置によれば、ユーザが手書きにより描いた絵コンテに即した動画のプログラムを自動生成することができる。
【図面の簡単な説明】
【００１４】
【図１】プログラム生成システムのブロック構成を示す。
【図２】女の子が道路を渡る一連の動作を時系列により記述した絵コンテ用紙を示す。
【図３】プログラム生成装置の機能的な構成を示すブロック図である。
【図４】プログラム生成装置の制御部が実行する処理手順を示すフローチャートである。
【図５】生成プログラム確認画面の表示例である。
【図６】生成プログラム編集画面の表示例である。
【図７】変形例に係るプログラム生成装置を示す。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。
【００１６】
［プログラム生成システムの構成］
図１は、本実施形態に係るプログラム生成システムの概略構成図である。本実施形態に係るプログラム生成システムは、プログラム生成装置１と、スキャナ（光学機器）２と、複数の絵コンテ用紙８とを有する。そして、プログラム生成システムは、ユーザがペンにより絵コンテ用紙８に描いた絵コンテに基づく動画を再生するためのプログラムを好適に生成する。
【００１７】
プログラム生成装置１は、スキャナ２と有線又は無線により電気的に接続し、スキャナ２が絵コンテ用紙８に対する読取り処理を行った場合に、各絵コンテ用紙８をスキャンした画像（「絵コンテ画像Ｉｃ」とも呼ぶ。）をスキャナ２から受信する。そして、プログラム生成装置１は、各絵コンテ用紙８に対応する絵コンテ画像Ｉｃに対して画像認識処理を実行することで、絵コンテ用紙８に描かれた絵コンテに基づく動画を再生するためのプログラム（「生成プログラム」とも呼ぶ。）を生成して表示する。ここで、プログラム生成装置１は、生成プログラムを表示する場合、生成プログラムとして、プログラミング言語を用いたソースコードではなく、絵コンテに登場する対象物（「キャラクタ」とも呼ぶ。）の各動作や状態を規定するタグを並べたリストを表示する。
【００１８】
絵コンテ用紙８は、生成プログラムを指定するための絵やコメントを記入する用紙であり、生成プログラムにより表示させたい動画のストーリー（筋書き）を記述するのに必要な枚数だけ使用される。絵コンテ用紙８は、時系列に従いスキャナ２により順次読み込まれ、生成された絵コンテ画像Ｉｃがプログラム生成装置１に供給される。絵コンテ画像Ｉｃは、本発明における「画像」の一例である。
【００１９】
［絵コンテ用紙の記入例］
図２（Ａ）〜（Ｃ）は、女の子が道路を渡る一連の動作を時系列により記述した絵コンテ用紙８を示す。図２（Ａ）〜（Ｃ）に示すように、絵コンテ用紙８は、イラスト欄８０と、コメント欄８１とを有する。ここでは、図２（Ａ）の絵コンテ用紙８は、動画の初期状態を指定しており、図２（Ｂ）の絵コンテ用紙８は、動画の途中の状態を指定しており、図２（Ｃ）の絵コンテ用紙８は、動画が終了する際の状態を指定している。例えば、イラスト欄８０は、プログラム生成装置１が画像認識によりプログラムを生成するのに用いられ、コメント欄８１は、記入者が整理のため又は後で参照するため等に用いられる。
【００２０】
イラスト欄８０は、プログラム生成装置１による画像認識処理の対象となる領域であり、動画の背景、動画中に動作するキャラクタ、及びキャラクタの動作を指定するための予め規定された特定の記号（「特定記号」とも呼ぶ。）が描画される。特定記号は、文字や図形などを含んでもよい。また、コメント欄８１には、イラスト欄８０で描画内容を説明した文章が適宜記入される。
【００２１】
ここで、図２（Ａ）に示すイラスト欄８０には、動画の背景となる道路１８と、動画中に動作するキャラクタである女の子１６とが描かれている。また、図２（Ａ）のコメント欄８１には、道路１８の近くに女の子１６が存在する旨が記入されている。
【００２２】
また、図２（Ｂ）に示すイラスト欄８０には、道路１８及び道路１８の縁まで移動した女の子１６が描画されると共に、特定記号である実線矢印２０Ａ及び吹き出し２１Ａが描画されている。ここで、実線矢印２０Ａは、キャラクタである女の子１６が移動することを示す特定記号であり、ここでは、女の子１６が図２（Ａ）に示す初期位置から図２（Ｂ）に示す位置まで歩く動作を指定している。また、吹き出し２１Ａは、女の子１６が発話する内容を指定する特定記号であり、ここでは、「交通安全」と発話する旨が指定されている。そして、コメント欄８１には、女の子１６が道路１８に向かって歩き、道路１８に着いたときに「交通安全」という旨が記入されている。
【００２３】
さらに、図２（Ｃ）に示すイラスト欄８０には、道路１８及び道路１８を渡りきった女の子１６が描画されると共に、特定記号である破線矢印２０Ｂ及び吹き出し２１Ｂが描画されている。ここでは、破線矢印２０Ｂは、女の子１６が図２（Ｂ）に示す位置から図２（Ｃ）に示す位置まで走る（通常速度の２倍速で移動する）動作を指定し、吹き出し２１Ｂは、女の子１６が「わーい」と発話することを指定している。そして、コメント欄８１には、女の子１６が走って道路１８を渡り、渡りきったときに「わーい」と発話する旨が記入されている。
【００２４】
このように、ユーザは、生成したい動画に応じて、背景、動画中に動作するキャラクタ、及びキャラクタの動作を指定するための特定記号を複数の絵コンテ用紙８のイラスト欄８０に時系列で描画し、イラスト欄８０に描画した内容を同じ絵コンテ用紙８のコメント欄８１に文章で記載する。
【００２５】
なお、図２に示す絵コンテ用紙８は一例であり、本発明が適用可能な絵コンテ用紙８のレイアウトはこれに限定されない。例えば、絵コンテ用紙８は、イラスト欄８０のみを有し、コメント欄８１を有しなくてもよい。
【００２６】
［プログラム生成装置の構成］
図３は、プログラム生成装置１の機能的な構成を示すブロック図である。プログラム生成装置１は、機能的には、ディスプレイなどの表示部１１と、タッチパネル、マウス、キーボードなどの入力部１２と、記憶部１３と、スキャナ２と有線又は無線により接続するためのインターフェース１４と、制御部１５とを備える。これらの各要素は、バスライン１０を介して相互に接続されている。
【００２７】
記憶部１３は、ハードディスク又はフラッシュメモリといったメモリによって構成され、制御部１５が実行するプログラム及び当該プログラムの処理に必要な情報を記憶する。本実施形態では、記憶部１３は、背景、キャラクタ、特定記号等を絵コンテ画像Ｉｃから認識するための画像認識プログラム、特定記号に関する情報（「特定記号情報」とも呼ぶ。）、及び生成プログラムを構成する後述するタグに関する情報等を記憶する。特定記号情報は、例えば、特定記号を画像認識により抽出するための特徴情報、及び特定記号に対応付けられた動作等を示す情報を含む。
【００２８】
制御部１５は、図示しないＣＰＵ、ＲＯＭ及びＲＡＭなどを備え、プログラム生成装置１内の各構成要素に対して種々の制御を行う。本実施形態では、制御部１５は、絵コンテ画像Ｉｃをスキャナ２から受信した場合に、画像認識処理を行い、記憶部１３に記憶した特定記号情報等を参照してプログラムを生成する。そして、制御部１５は、生成プログラムの確認画面（「生成プログラム確認画面」とも呼ぶ。）を表示部１１に表示させる。この場合、制御部１５は、生成プログラムを、画像認識により認識したキャラクタごとに、各動作や状態を規定するタグのリストにより表す。また、制御部１５は、ユーザ操作に基づき、生成プログラムを修正するための編集画面（「生成プログラム編集画面」とも呼ぶ。）を表示部１１に適宜表示させる。制御部１５は、本発明における「取得手段」、「表示手段」、「生成手段」、及びプログラムを実行するコンピュータの一例である。
【００２９】
［処理フロー］
図４は、プログラミングの演習時に制御部１５が実行する処理手順を示すフローチャートである。例えば、制御部１５は、図４のフローチャートの処理を繰り返し実行する。
【００３０】
まず、制御部１５は、ユーザが描画した絵コンテ用紙８を表す絵コンテ画像Ｉｃをスキャナ２から取得したか否か判定する（ステップＳ１０１）。そして、制御部１５は、絵コンテ画像Ｉｃをスキャナ２から取得したと判断した場合（ステップＳ１０１；Ｙｅｓ）、ステップＳ１０２へ処理を進める。一方、制御部１５は、絵コンテ画像Ｉｃをスキャナ２から取得していない場合（ステップＳ１０１；Ｎｏ）、引き続き絵コンテ画像Ｉｃをスキャナ２から取得したか否か監視する。
【００３１】
次に、制御部１５は、受信した絵コンテ画像Ｉｃを対象にして画像認識処理を実行し、絵コンテ画像Ｉｃに表されたキャラクタ、背景、特定記号等を認識する（ステップＳ１０２）。この場合、例えば、制御部１５は、まず、スキャナ２に読み込まれた各絵コンテ用紙８を表す絵コンテ画像Ｉｃのイラスト欄８０部分を対象として、キャラクタ、背景、特定記号等の候補となる領域（候補領域）を抽出する。そして、制御部１５は、記憶部１３に記憶した特定記号情報を参照し、特定記号の領域を表す候補領域を抽出すると共に、特定記号以外の候補領域のうち全ての絵コンテ画像Ｉｃ間で位置が固定の同一又は類似領域を背景の領域として抽出し、絵コンテ画像Ｉｃ間で位置が変わる同一又は類似領域をキャラクタの領域として抽出する。
【００３２】
次に、制御部１５は、各絵コンテ画像Ｉｃから抽出したキャラクタや特定記号等に基づき、プログラムを生成する（ステップＳ１０３）。この場合、制御部１５は、図２（Ａ）〜（Ｃ）に示されるような各絵コンテ用紙８に対応する絵コンテ画像Ｉｃから抽出したキャラクタ及び特定記号に基づき、キャラクタの動作等を認識し、認識したキャラクタの動作等を実現するためのプログラムを生成する。
【００３３】
そして、制御部１５は、ステップＳ１０３で生成したプログラムを表示部１１に表示させる（ステップＳ１０４）。このとき、制御部１５は、キャラクタごとの動作等を規定するタグのリストを生成プログラムとして後述の生成プログラム確認画面上に表示させる。その後、制御部１５は、生成プログラムであるタグのリストを修正するための生成プログラム編集画面をユーザ入力に基づき適宜表示し、生成プログラムの修正を受け付ける。
【００３４】
［表示例］
次に、本実施形態においてプログラム生成装置１が表示する生成プログラム確認画面及び生成プログラム編集画面の具体例について説明する。
【００３５】
（１）生成プログラム確認画面
図５は、図２（Ａ）〜（Ｃ）に示した絵コンテ用紙８に対応する絵コンテ画像Ｉｃに基づき図４のステップＳ１０４でプログラム生成装置１が表示する生成プログラム確認画面の表示例である。図５の例では、制御部１５は、生成プログラム確認画面上に、検出キャラクタ表示欄２５と、生成プログラム表示欄２６と、実行動画表示欄２７と、再生ボタン２８と、確定ボタン２９Ａと、編集ボタン２９Ｂとを表示させている。
【００３６】
制御部１５は、検出キャラクタ表示欄２５上に、図４のステップＳ１０２の画像認識処理により制御部１５が認識したキャラクタを表すアイコン３０を表示させる。図５の例では、制御部１５は、図２（Ａ）〜（Ｃ）に示した絵コンテ用紙８に対応する絵コンテ画像Ｉｃから女の子１６を検出したことから、女の子１６を表すアイコン３０を表示させている。なお、制御部１５は、図４のステップＳ１０２の画像認識処理で複数のキャラクタを検出した場合には、検出した各キャラクタに対応するアイコン３０を検出キャラクタ表示欄２５上に並べて表示する。
【００３７】
また、制御部１５は、生成プログラム表示欄２６上に、生成プログラムに相当するタグ３２のリストを表示させている。図５の例では、まず、制御部１５は、特定記号である実線矢印２０Ａに基づき女の子１６が歩いた（即ち通常速度で移動した）点、及び、図２（Ａ）、（Ｂ）のそれぞれでの女の子１６の位置の遷移に基づき女の子１６が１０歩分移動した点を認識し、これらの動作に対応する動作タグ３２ａを先頭に配置している。また、制御部１５は、認識した特定記号である吹き出し２１Ａに基づき、女の子１６が「交通安全」と発話する動作を認識し、当該動作を表すタグ３２ｂをタグ３２ａの次に配置している。同様に、制御部１５は、特定記号である破線矢印２０Ｂに基づき女の子１６が通常速度の２倍速で移動した点、及び、図２（Ｂ）、（Ｃ）間での女の子１６の位置の遷移に基づき女の子１６が１５歩分移動した点を認識し、これらの動作に対応するタグ３２ｃをタグ３２ｂの次に配置している。また、制御部１５は、認識した特定記号である吹き出し２１Ｂに基づき、女の子１６が「わーい」と発話する動作を認識し、当該動作を表すタグ３２ｄをタグ３２ｃの次に配置している。
【００３８】
このように、制御部１５は、タグ３２のリストにより生成プログラムを生成プログラム確認画面上に表示させる。これにより、ユーザは、自身が意図したプログラムが生成されたか否か好適に確認することができる。
【００３９】
なお、図４のステップＳ１０２の画像認識処理により制御部１５が認識したキャラクタが複数存在する場合には、制御部１５は、検出キャラクタ表示欄２５上で選択されたアイコン３０に対応するキャラクタの動作を規定するタグ３２のリストを、生成プログラム表示欄２６上に表示させる。即ち、制御部１５は、検出キャラクタ表示欄２５で選択されたアイコン３０が切り替わった場合、生成プログラム表示欄２６に表示させるタグ３２のリストの表示を、現在選択されているアイコン３０が示すキャラクタに応じて切り替える。
【００４０】
また、制御部１５は、入力部１２へのユーザ入力に基づき再生ボタン２８が選択されたことを検知した場合、図４のステップＳ１０３で生成した生成プログラムに基づく動画を実行動画表示欄２７上に表示させる。この場合、例えば、制御部１５は、図２（Ａ）に示す最初の絵コンテ画像８のイラスト欄８０内の画像を動画のスタート画像とし、スタート画像内のキャラクタを生成プログラムに基づき動作させる。ユーザは、再生ボタン２８を選択することで、自身が意図したプログラムが生成されたか否かを、実行動画表示欄２７上で再生される動画を閲覧することで好適に確認することができる。
【００４１】
また、制御部１５は、確定ボタン２９Ａが選択されたことを検知した場合、ユーザが意図したプログラムが生成されたと判断し、生成プログラム確認画面の表示を終了させる。この場合、制御部１５は、生成プログラムの情報を記憶部１３に記憶させる。一方、制御部１５は、編集ボタン２９Ｂが選択されたことを検知した場合、後述する生成プログラム編集画面を表示部１１に表示させる。
【００４２】
（２）生成プログラム編集画面
図６は、図５の編集ボタン２９Ｂが選択された際に表示される生成プログラム編集画面の表示例である。図６の例では、制御部１５は、生成プログラム編集画面上に、スタート画像表示欄４１と、キャラクタ選択欄４２と、タグカテゴリ選択欄４３と、タグ選択フィールド４４と、プログラム編集フィールド４５と、戻るボタン４６とを表示させている。
【００４３】
制御部１５は、スタート画像表示欄４１上に、生成プログラムに基づく動画の開始時のスタート画像を表示する。また、制御部１５は、キャラクタ選択欄４２上には、生成プログラム確認画面の検出キャラクタ表示欄２５と同様に、画像認識処理により認識したキャラクタに対応するアイコン３０を表示させる。また、制御部１５は、タグカテゴリ選択欄４３上に、後述するタグ選択フィールド４４に表示させるタグ３２の各カテゴリに対応した複数の選択ボタン３１を表示させている。具体的には、図６の例では、制御部１５は、タグカテゴリ選択欄４３内に、動きに関連するタグをタグ選択フィールド４４に表示させるための選択ボタン３１Ａと、見た目に関連するタグをタグ選択フィールド４４に表示させるための選択ボタン３１Ｂと、音（発話）に関連するタグをタグ選択フィールド４４に表示させるための選択ボタン３１Ｃとを少なくとも表示させている。
【００４４】
制御部１５は、タグ選択フィールド４４上に、タグカテゴリ選択欄４３で選択された選択ボタン３１に対応するカテゴリに属するタグ３２の一覧を表示する。図６の例では、動きに関する選択ボタン３１Ａが選択されていることから、制御部１５は、タグ選択フィールド４４に、動きを規定するタグ３２（３２Ａ〜３２Ｇ、…）の一覧をタグ選択フィールド４４に表示させている。また、タグ選択フィールド４４上に表示されるタグ３２には、具体的な数値や方向等を規定するための入力欄３３又はプルダウンメニュー３４が必要に応じて設けられている。入力欄３３は、ソフトウェアキーボードやハードウェアキーボードなどにより数字等を入力可能な入力欄であり、プルダウンメニュー３４は、押下された場合に表示される複数の選択肢から任意の１つの選択肢を選択する欄である。例えば、タグ３２Ａの入力欄３３には、対象物を動かす歩数が入力され、タグ３２Ｂ、３２Ｃの各入力欄３３には、対象物を回す角度が入力される。また、タグ３２Ｄのプルダウンメニュー３４では、対象物を向ける方向を定める複数の選択肢から１つの方向が選択可能となっている。
【００４５】
制御部１５は、プログラム編集フィールド４５上に、キャラクタ選択欄４２で選択された対象物（即ち女の子１６）に対する動作等を規定するタグ３２のリストを実行順に並べる。生成プログラム編集画面を表示した直後の初期状態では、制御部１５は、プログラム編集フィールド４５上に、生成プログラム確認画面の生成プログラム表示欄２６と同一のタグ３２のリストを表示させる。
【００４６】
また、制御部１５は、ユーザ操作に基づき、プログラム編集フィールド４５に表示させるタグ３２の変更や追加などを行う。例えば、制御部１５は、タグ選択フィールド４４に表示された任意のタグ３２に対するプログラム編集フィールド４５へのドラッグ操作を認識した場合に、ドラッグ操作の対象となるタグ３２を複製してプログラム編集フィールド４５内の任意の位置に配置する。また、プログラム編集フィールド４５上に表示されるタグ３２には、入力欄３３又はプルダウンメニュー３４が適宜設けられている。よって、制御部１５は、入力欄３３又はプルダウンメニュー３４への入力を受け付け、タグ３２の内容の一部を編集する。また、制御部１５は、プログラム編集フィールド４５内のタグ３２の並び順をドラッグ操作に応じて変更したり、プログラム編集フィールド４５内のタグ３２を指定した特定の操作を検知した場合に、当該タグ３２をプログラム編集フィールド４５から削除したりする。図６の例では、制御部１５は、タグ３２Ｂ、３２Ｃに対するタグ選択フィールド４４からプログラム編集フィールド４５へのドラッグ操作を検知したことから、タグ３２ａとタグ３２ｂとの間にタグ３２Ｂ、３２Ｃをそれぞれ配置している。また、制御部１５は、プログラム編集フィールド４５上のタグ３２Ｂ，３２Ｃの各入力欄３３に対し、回転角度を「１５」とする入力を受け付け、タグ３２Ｂ、３２Ｃに反映させている。これにより、女の子１６が道路１８を渡る前に左右確認をする動作が好適に追加される。
【００４７】
制御部１５は、戻るボタン４６が選択されたことを検知した場合、図５に示した生成プログラム確認画面へ表示部１１の画面を遷移させる。この場合、制御部１５は、生成プログラム確認画面の生成プログラム表示欄２６に、プログラム編集フィールド４５上で編集されたタグ３２のリストを表示させる。
【００４８】
このように、図６に示す生成プログラム編集画面では、制御部１５は、タグ選択フィールド４４又はプログラム編集フィールド４５に表示されたタグ３２に対する操作に基づき、好適に生成プログラムの編集を受け付けることができる。
【００４９】
［本実施形態の作用効果］
本実施形態のプログラム生成システムによれば、プログラム生成装置１は、スキャナ２が読取った絵コンテ画像Ｉｃに対して画像認識処理を実行することで、絵コンテ用紙８に描かれたキャラクタや当該キャラクタの動作等を規定する特定記号等を認識し、ユーザが所望する動画のプログラムを好適に生成することができる。
【００５０】
［変形例］
次に、上述の実施形態に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施形態に適用してもよい。
【００５１】
（変形例１）
プログラム生成システムは、絵コンテ用紙８に記入された絵コンテをスキャナ２により読取る代わりに、タッチペンによるタッチパネル上の記入操作を受け付けることで、絵コンテを描画したストロークを認識してもよい。
【００５２】
図７は、変形例に係るプログラム生成装置１Ａを示す。図７の例では、プログラム生成装置１Ａは、ディスプレイにタッチパネルが積層されたタブレット型端末であり、タッチペン９Ａによる手書き入力を受け付ける。この場合、プログラム生成装置１Ａは、例えばイラスト欄８０Ａ及びコメント欄８１Ａを含む絵コンテの入力画面（「絵コンテ入力画面」とも呼ぶ。）をディスプレイに表示し、イラスト欄８０Ａ及びコメント欄８１Ａへの手書き入力をタッチパネルにより受け付ける。
【００５３】
また、図７の例では、プログラム生成装置１Ａは、絵コンテ入力画面を頁ごとに表示する。そして、プログラム生成装置１Ａは、絵コンテ入力画面上に、現在の頁を表す頁表示欄５０と、前の頁へ戻るための前頁ボタン５１と、次の頁へ進むための次頁ボタン５２と、手書き入力が完了したことを明示するための完了ボタン５３とを表示している。なお、プログラム生成装置１Ａは、次頁ボタン５２が選択された場合であって、次の頁がまだ作成されていない場合には、現在の頁の次の頁を新規に作成し、空白のイラスト欄８０Ａ及びコメント欄８１Ａを含む次の頁（図７の例では３頁目）の絵コンテ入力画面を表示させる。
【００５４】
そして、プログラム生成装置１Ａは、完了ボタン５３が選択されたことを検知した場合には、絵コンテ入力画面の頁ごとに絵コンテ画像Ｉｃを生成する。その後、プログラム生成装置１Ａは、実施形態と同様に各絵コンテ画像Ｉｃに対して画像認識処理を行い、プログラムを生成する。このように、変形例に係る構成によっても、プログラム生成装置１Ａは、ユーザが描いた手書きの絵コンテに基づきプログラムを好適に生成することができる。
【００５５】
（変形例２）
プログラム生成装置１は、イラスト欄８０に加えて、コメント欄８１に対して画像認識処理を行うことで、プログラムを生成してもよい。
【００５６】
この場合、プログラム生成装置１は、図４のステップＳ１０２でのイラスト欄８０に対する画像認識処理に加えて、コメント欄８１を対象とした公知の文字認識処理を行うことで、コメント欄８１に記入された文字列を認識する。そして、プログラム生成装置１は、予め記憶した単語のデータベースを参照し、「女の子」、「道路」などの特定の単語を抽出することで、動作主体となるキャラクタや背景となるオブジェクトの存在を認識したり、「歩き」、「着いた」などの動作を表す単語を抽出することでキャラクタの動作を認識したりする。また、プログラム生成装置１は、コメント欄８１内で特定の用途のために使用される記号の情報を予め記憶しておき、記憶した当該記号を抽出した場合には、抽出した記号に割り当てられた用途を勘案して文字認識を行う。例えば、プログラム生成装置１は、コメント欄８１中にかぎ括弧を検出した場合には、かぎ括弧内の文字はキャラクタの発話内容であると判断する。そして、プログラム生成装置１は、イラスト欄８０を対象とする認識結果とコメント欄８１を対象とする認識結果との両方を勘案し、プログラムを生成する。
【００５７】
本変形例によれば、プログラム生成装置１は、ユーザが描いた絵コンテをより的確に再現した動画のプログラムを好適に生成することができる。本変形例では、イラスト欄８０は本発明における「第１領域」の一例であり、コメント欄８１は本発明における「第２領域」の一例である。
【００５８】
（変形例３）
プログラム生成装置１は、画像認識により検出したキャラクタを、画像として予め保存された任意のキャラクタに差し替えてもよい。例えば、プログラム生成装置１は、キャラクタの表示を変更する旨の所定の入力を検知した場合に、変更可能なキャラクタの表示の一覧を表示し、変更後のキャラクタの表示を指定する入力を受け付ける。また、プログラム生成装置１は、道路などの背景のオブジェクトも同様に、ユーザ入力に基づき、画像として予め保存された任意のオブジェクトに差し替えてもよい。
【符号の説明】
【００５９】
１、１Ａ…プログラム生成装置
１１…表示部
１２…入力部
１３…記憶部
１４…インターフェース
１５…制御部
【図１】
2017220039.tif 000003
【図２】
2017220039.tif 000004
【図３】
2017220039.tif 000005
【図４】
2017220039.tif 000006
【図５】
2017220039.tif 000007
【図６】
2017220039.tif 000008
【図７】
2017220039.tif 000009