Multimodal Publication Producer
クイックマニュアル（機能紹介編）
茨城大学・工学部・情報工学科 藤芳研究室
2018/08/27

Multimodal Publication Producer についてMultimodal Publication Producer は、見えない 2 次元コードを活用した「ペンでタッチすると読める音声付教科書」のために開発された、統一的制作システムです。PDF ファイルの文章から、2 次元コード書籍だけでなく、マルチメディア DAISY、音声埋め込み PDF などを制作することができます。
本マニュアルでは、PDF ファイルの文章からマルチメディア DAISY を制作する方法を中心に解説します。
マルチメディア DAISY を制作するために用意してもらうものは、元の文書の PDF ファイルと、対応するリニアPCM（WAV）形式の読み上げ音声の２点です。Multimodal Publication Producer に合成音声を生成する機能はありませんので、読み上げ音声はボイスレコーダー等で肉声を録音して用意するか、別の合成音声生成ソフトなどを利用してください。

ページ 1

3. マルチメディア DAISY の作成の流れ
本章では、Multimodal Publication Producer を使って PDF ファイルからマルチメディア DAISY を作成する流れを紹介します。練習用データが用意されているので、それを使って実際に作成してみましょう。
http://apricot.cis.ibaraki.ac.jp/MultimodalPublicationProducer/document.html の「クイックマニュアル」より、練習用データをダウンロードして解凍しておいてください。

3.1. 作業用フォルダの作成
好きな場所に新しいフォルダを作成し、これから作業を行う PDF ファイルを入れてください。Multimodal
Publication Producer で作業を行う場合、PDF ファイルごとに作業用のフォルダを作成する必要があります。作
業用フォルダの中に、作業に必要なファイルやサブフォルダを作成するためです。
練習用データには、PDF ファイル「ごん狐.pdf」とそれまでの作業内容を保存したファイル「ごん狐.dat」が含まれています。作業用フォルダに、この二つのファイルをコピーしてください。すると、作業用フォルダは、以下のような状態になると思います。

作業が進行していくと、さらに作業用フォルダの中に、作業データ保存用サブフォルダ「resource」及び作業内容のバックアップ保存用サブフォルダ「autosave」の二つが作成されます。
また、朗読原稿、マルチメディア DAISY、音声埋め込み PDF などの生成物も、この作業用フォルダの中に生成されます。

ページ 2

3.2. PDF ファイルを開く
メニューバーの「ファイル」「開く」を選択し、ファイルダイアログで PDF ファイルを選択します。
練習を始めますので、作業フォルダ内の「ごん狐.pdf」を選択し、開いてください。正しく「ごん狐.pdf」が開かれると、次のような画面が表示されるはずです。

画面中央の文章内容が表示されている部分を「キャンバス」と呼びます。上部の「ファイル(F)」、「編集(E)」・・・と並んでいる部分を「メニューバー」、その下のアイコンが並んでいる部分を「アイコンメニュー」と呼びます。

3.3. ページの切り替え
Multimodal Publication Producer では、PDF ファイルのそれぞれのページごとに作業を行っていきます。基
本的には、最初のページから１ページずつ作業を行っていけばうまくいくと思います。
画面左側のリストボックスに、ページの一覧が表示されています。リストボックス中の各ページをクリックすると、そのページに切り替えることができます。アイコンメニューの丸矢印またはをクリックするか、キーボードのページアップキー「PgUp」またはページダウンキー「PgDn」を押して、前後のページに切り替えることもできます。
練習用データの作業は最初のページから始めますので、一通り試したら、最初のページに戻ってください。

ページ 3

3.4. 新しい領域の作成
Multimodal Publication Producer は PDF ファイルの文章から、自動的にレイアウト解析を行い、各文の領域を自動認識します。キャンバス中の各四角形は、それぞれの行で、別々の文として認識された領域です。この四角形の領域を LineArea と呼んでいます。画面右側のリストボックスに、LineArea の一覧が表示されています。この練習ではやりませんが、文の区切りとして、句点「。」だけでなく、読点「、」を追加することもできます。メニュー
バーの「オプション」「環境設定」を選択し、メニューツリーの「レイアウト解析」で設定を変更できます。この練習ではやりませんが、設定を変更したときは、アイコンメニューの再解析をクリックして、レイアウト解析をやり直してください。

練習用データでは、タイトルの「ごん狐」には、LineArea が付いていません。PDF ファイルから文字情報が取得できなかった場合など、LineArea が付かないことがあります。この場合、新しい LineArea を作成します。
新しい LineArea の作成は、アイコンメニューの鉛筆をクリックし、作成したい場所をマウスでドラッグします。すると、LineArea が作成され、次のようなサブウインドウが表示されます。ここには、LineArea に対応する文字列「ごん狐」をキーボードから入力してください。

LineArea の属性は、縦書き「VERTICAL」、横書き「HORIZONTAL」、単体の文字等「CELL」、数字「NUMBER」から選択します。ここは、そのままにしておけば良いです。
LineArea の種別は、タイトル「HEAD_1」~「HEAD_6」、本文「BODY」、注釈等の説明文「NOTE」、飾りの領域「AUXLIARY」、画像「IMAGE」から選択します。ここは、HEAD_1 を選択するべきですが、種別の修正は後で行いますので、そのままにしておいてください。

ページ 4

3.5. 領域の結合
自動認識された LineArea が、本来は一つであるべきなのに、複数に分かれていることがあります。これらのLineArea を結合する方法を説明します。
練習用データでは、作者名の「新美南吉」が二つに分かれています。これは、姓と名の間に空白があったため、二つの異なる領域に認識されてしまったためだと思われます。
コントロールキー「Ctrl」を押しながら、マウスで「新美」と「南吉」の二つの LineArea をクリックして選択してください。複数の LineArea の選択は、そのすべての LineArea を外側から囲むような領域をマウスでドラッグしても行うことができます。
そして、アイコンメニューのプラスをクリックすれば、選択された LineArea が結合され、大きな一つのLineArea ができます。LineArea の結合は、キーボードのプラスキー「＋」を押しても行うことができます。

ところで、間違った LineArea を結合してしまった場合、作業を取り消したくなるでしょう。そのような時のために、過去の作業を取り消す機能があります。作業の取り消しは、アイコンメニューの元に戻すをクリックするか、キーボードのコントロールキー「Ctrl」を押しながら「Z」キーを押すことで行うことができます。また、取り消した作業を、再度行う機能も用意されています。

3.6. 領域の接続
領域の結合と紛らわしいですが、領域の接続とは、改行等があったために別々になっている LineArea をつなげることです。接続されている LineArea は、縦書きの場合、緑色または赤色の線で結ばれ、横書きの場合、茶色または黄色の線で結ばれています。ただし、縦書きの赤色の線や、横書きの黄色の線のときは、LineArea の順番が間違っていることが疑われます。つまり、その場合、右より左（上より下）の LineArea の方の順番が若いことを意味しているからです。順番の変更方法は、後で説明します。
接続したい複数の LineArea の選択し、アイコンメニューの接続をクリックするか、キーボードの改行キー「Enter」を押せば、選択された LineArea が結合されます。
練習用データでは、「二、三日雨がふりつづいたその間、ごんは、外へも出られ」と「なくて穴の中にしゃがんでいました。」に対応する LineArea が接続されていません。これらの LineArea を選択し、接続してみましょう。

ページ 5

3.7. 領域の順序の変更
最初に自動認識されたばかりの LineArea の順序は、PDF ファイルに書かれていた順序そのままになっています。しかし、PDF ファイル中の文章の順序が正しいとは限りません。間違った順序ままだと、文章の順序が間違った
マルチメディア DAISY が出力されてしまいます。
画面右側の上部に、チェックボタン「順序」があります。このチェックボタンをクリックすると、LineArea の順序が表示されます。作業中の練習用データだと、新規に作成した LineArea「ごん狐」が最後になっているので、順序が正しくありません。
LineArea の順序の修正は、ある程度は自動で行うことができます。順序を修正したい LineArea を選択し、アイコンメニューの順序最適化をクリックするか、キーボードの「S」キーを押すと順序が修正されます。LineArea「ごん狐」と LineArea「新美南吉」を選択し、順序を修正してみましょう。

ページ 6

それぞれの LineArea を選択すると、画面左側に LineArea の情報が表示されます。ここの「番号」という所に入っている数字を編集しても、順序を変更することができます。細かい修正が必要な場合は、ここを修正してみてください。ちなみに、「X 座標」、「Y 座標」、「高さ」、「幅」、「属性」、「種別」など、他の編集可能な数字等を修正しても、LineArea に修正を加えることができます。

3.8. 領域の種別の調整前にも説明しましたが、LineArea の種別には、タイトル「HEAD_1」~「HEAD_6」、本文「BODY」、注釈等の説明文「NOTE」、飾りの領域「AUXLIARY」、画像「IMAGE」があります。この中から適切な種別を与えてあげないと、おかしなマルチメディア DAISY が生成されることになります。生成されるマルチメディア DAISY では、種別が「AUXLIARY」の領域は無視され、種別が「NOTE」の領域は線で四角く縁取られて表示されることになります。
それぞれの LineArea を選択すれば画面左下に種別が表示されますが、画面右上のチェックボタン「種別」にチェックを入れると、すべての領域の種別が色分けされて表示されます。
作業中の練習用データだと、LineArea「ごん狐」の種別が「AUXLIARY」のままでした。LineArea「ごん狐」を選択し、画面左下のドロップダウンメニュー「種別」をクリックして、正しい種別「HEAD_1」を選択してください。

3.9. 段落の調整接続された一連の LineArea は、それぞれの「文」に対応しています。さらに、それらの文をまとめたものが「段落」になります。当然ですが、段落も正しく設定する必要があります。
段落の構成を表示するには、画面右側の LineArea のリスト表示の上のタブ「Paragraph」をクリックします。それぞれの段落が紺色の四角で括られて表示されます。画面右側には、段落のリストが表示されます。

ページ 7

作業中の練習用データでは、LinArea「新美南吉」と LineArea「これは私が小さいときに、・・・」が同じ段落になっていますが、これは分割する必要があります。LineArea「これは私が小さいときに、・・・」を選択し、アイコンメニューの段落分割をクリックしてください。段落が分割されたと思います。

一方、段落４と段落５は、本来一つの段落であるべきものが分かれています。画面右側の段落のリストで、「P4」と「P5」を選択して、段落リストの右側の段落結合ボタン「＋」をクリックして、段落を結合してください。

ページ 8

3.10.

画像領域の挿入キャンバス中の任意の場所に新しい LineArea を作成することで、そこを画像領域とすることができます。もちろん、マルチメディア DAISY にも、その画像が挿入されます。
練習用データの２ページに移動してください。２ページには、二つの画像があります。それぞれの画像の上で新しい LineArea を作成し、適当な文字列（例えば、「ごん」と「茂平」）を入力し、種別「IMAGE」を選択してください。

このままでは、新しく挿入した画像はこのページの最後に来てしまうので、順序を調整します。それぞれの画像は一つの段落となりますので、画像の順序の調整は、段落の順序を変更して行うのが良いでしょう。画面右側のタブ「Paragraph」をクリックして、段落を表示させます。段落のリストで、画像の段落を選択し、リストの右側の上下の三角ボタンをクリックすると、段落の順序が変更できます。

3.11.

ページをまたぐ領域の接続

文の中には、二つのページにまたがっているものもあるかもしれません。そのような場合、二つのページにあるLineArea を接続しなくてはなりません。

ページ 9

練習用データの３ページに移動してください。このページの最初の LineArea は、前のページの LineArea と接続する必要があります。LineArea「とのぞいてみました。」を右クリックしてください。すると次のような右クリックメニューが表示されるので、メニュー項目「前のページと接続」を選択します。

すると、次のようなウインドウが現れます。

このウインドウで、接続するページ番号と、接続する LineArea を選択します。今回はすぐ前のページと接続する
ので、ページ番号はこのままで良いですが、前にあるすべてのページから選択することができます。一方、接続する
LineArea は、23 番の「と草の深いところへ歩きよって、そこからじっ」を選択してください。ボタン「接続する」をクリック
すると、ページをまたいで LineArea が接続されます。それぞれのページで次のように表示されます。

ページ 103.12.

編集データの保存

練習用データの文章の編集作業はこれで終わりました。後は音声データの割り付けを行うだけです。
ここで、編集データの保存をしておきましょう。使用中に予期しないことが起こると、クラッシュすることがあるかもしれません。こまめに編集データの保存をしておくことをお勧めします。
編集データの保存は、アイコンメニューの保存

3.13.

をクリックすることで行えます。

音声データの分割

文章の音声データは用意してありますか？もしまだなら、ボイスレコーダーで肉声を録音したり、別の合成音声生成ソフト等で音声を生成したりして、音声データを用意してください。利用可能な音声データのフォーマットは、リニアPCM（WAV）形式だけとなります。
Multimodal Publication Producer で音声データの割り付けを行うためには、あらかじめ音声データを細かく分割しておく必要があります。Multimodal Publication Producer には、細かく分割されすぎた音声データをつなげる機能はありますが、長くつながりすぎた音声データを分割する機能はありませんので、別のソフトを使って音声データの分割を行います。
FLab Wave Edit を使って音声データを分割する方法を紹介します。インストール編で説明したとおり、FLabWave Edit は、リニア PCM（WAV）形式の音声ファイルの編集を行うソフトウェアです。Windows 版しかありませんので、Mac をお使いの人は他の音声編集ソフトなどを使って音声データを用意してください。
練習用データの１・２ページの音声データは、すでに分割されています。３ページの音声データを分割してみましょう。FLab Wave Edit を起動して、３ページの音声データの入っているフォルダを開いてください。フォルダの中にあるファイル「音声データ_061.wav」を、FLab Wave Edit の下部の白いところにドラッグしてください。

ページ 11次に、音声を分割するために無音期間を設定します。FLab Wave Edit は、音声データに設定値以上の長さの無音区間があると、そこで音声データを分割してくれます。最初の値は 1.00（秒）ですが、これでは長過ぎですので、0.2～0.3（秒）の値を入れてください。
実行ボタンをクリックすると処理が実行され、サブフォルダ「Slice」が作成され、その中に分割された音声ファイルが生成されたはずです。これで FLab Wave Edit の処理は終わりです。

ページ 12

3.14.

音声データの割り付け

分割された音声データを文章の各文に割り付ける作業を行います。Multimodal Publication Producer を「編集モード」から「音声モード」に切り替えます。これはキャンバス上部のタブ「音声モード」をクリックすることで行います。音声モードに切り替わると、次のように画面右側に音声再生用のボタンが表示されます。

各文に音声データを割り付ける作業は、画面中央のキャンバスのそれぞれの LineArea に、対応する音声ファイルをドラッグして行います。音声ファイルの入っているフォルダを開き、その中の音声ファイルを選択し、キャンバスにドラッグしてください。LineArea が接続されている場合、どれか一つに音声を割り付ければよいです。音声データが割り付けられると、LineArea の色が変わります。
間違った音声ファイルを割り付けてしまった場合には、LineArea を選択した状態で、削除キー「Del」を押してください。または、同じ LineArea に正しい音声ファイルをドラッグし直して、上書きを選択する方法もあります。
音声データが細かく分割されすぎていた場合には、音声ファイルの入っているフォルダで、その文に対応する複数の音声ファイルを選択し、それらの音声ファイルをまとめて LineArea にドラッグしてください。自動で音声データが結合されます。すでに音声ファイルが割り付けられた LineArea に別の音声ファイルをドラッグして、音声データを結合することもできます。このとき、新しい音声ファイルの内容は元の音声データの後ろに結合されます。

ページ 13

練習用データの１ページの音声データを割り付けてみましょう。
ファイル「音声データ_000.wav」は、「ごんぎつね」の音が入っているので、LineArea「ごん狐」にドラッグしてください。

次のファイル「音声データ_001.wav」は、「にいみ なんきち」の音が入っているので、LineArea「新美 南吉」にドラッグしてください。



その次は、ファイル「音声データ_002.wav」は、「これは」の音が、ファイル「音声データ_003.wav」は、「わたしが ちいさいときに」の音が、ファイル「音声データ_004.wav」は、「むらのもへいという おっじさんからきいた おはなしです」の音が入っています。これら３つのファイルを選択して、一度に LineArea「これは、私が・・・」にドラッグします。複数のファイルの選択は、OS によりけりですが、コントロールキー「Ctrl」を押しながら一つずつファイルをクリックするか、複数のファイルを取り囲む領域をドラッグすればできると思います。

以下、同じように続けてください。
割り当てられた音声を確認するには、それぞれの LineArea をクリックしてください。そこに割り当てられた音声データが再生されます。また、画面右側の再生ボタン等をクリックして音声データを確認することもできます。

ページ 14

すべての LineArea に音声を割り付ける必要はありません。例えば、挿絵などには音声をつけない場合もあるでしょう。音声が割り付けられていない領域は、読み飛ばされるだけです。

3.15.

マルチメディア DAISY の生成

最後にマルチメディア DAISY の生成を行います。メニューバーの「ファイル」、「エクスポート」を選択してください。
次のようなメニューが現れたら、プルダウンメニューから「DAISY(縦書き)」または「DAISY(横書き)」を選択してください。

すると、次のようなページの選択ウインドウが表示されます。文章のどの部分のマルチメディア DAISY を生成するか選択できるようになっています。つまり、全体で１つのマルチメディア DAISY を生成することもできますが、ページを細かく指定して複数に分割されたマルチメディア DAISY を生成することもできます。

ボタン「OK」をクリックすると、作業フォルダ内にサブフォルダが作られ、マルチメディア DAISY のコンテンツが生成されます。

3.16.

生成されたマルチメディア DAISY の動作確認

Multimodal Publication Producer で生成されたマルチメディア DAISY は、AMIS と ChattyBooks で動作確認してあります。
ページ 15

練習用データで生成されたマルチメディア DAISY を ChattyBooks で開くと次のように表示されます。

ページ 16

4. 知っておいた方がよい便利な機能の紹介
Multimodal Publication Producer は、PDF ファイルから様々な音声付教材を作成できるよう、様々な便利な機能が用意されています。本来、見えない 2 次元コードを活用した「ペンでタッチすると読める音声付教科書」のために開発されたものですので、これらの機能の多くはマルチメディア DAISY の生成には関係ないかもしれません。しかし、知っておくと便利な機能も多くあります。

（執筆中、以下を掲載予定）

4.1. ズーム4.2. サイズの調整
4.3. 大きさをそろえる
4.4. 音声の一括割り当て
4.5. 音声ファイルのインポート
4.6. 文字領域の表示
4.7. 読み上げ原稿の生成
4.8. 音声埋め込み PDF ファイルの生成

ページ 17