(57)【要約】【課題】本発明は、様々なパラメータに応じて、画像オブジェクトを生成するためのパラメータを変化させ、その結果生成された画像オブジェクトをカラオケの背景画像として表示可能なカラオケ装置を提供することを課題とする。【解決手段】「メモリに格納されたカラオケ伴奏楽譜データ」に含まれる「楽器の種類」、「音の高さ」「発音の強さ」、「音像の位置」、ならびに「マイクロフォンから入力されたユーザの音声をアナログーデジタル変換して得られたデータ」を解析して得られる「平均レベル」、「ピークレベル」、「最もエネルギーの大きな周波数成分」、「特定の周波数成分のエネルギー」のうちの１または複数に応じて、前記画像オブジェクトの「種類」、「大きさ」、「色」、「形状」、「座標」の１または複数のパラメータを動的に変化させる。【選択図】図１
2008122888.tif 000002
【特許請求の範囲】
【請求項１】
家庭用テレビ装置などに映像信号ならびに音声信号を出力可能なカラオケ装置であって、
前記カラオケ装置に内蔵、または着脱可能なマイクロフォン、
前記カラオケ装置に内蔵、または着脱可能なメモリ、および
二次元および／または三次元で表現される画像オブジェクトを生成し、１または複数の前記画像オブジェクトから構成される画像をカラオケの背景画像として生成し、かつカラオケの歌詞を示す歌詞画像と合成し、映像信号として出力する画像処理手段を含み、
前記画像処理手段は、
「前記メモリに格納されたカラオケ伴奏楽譜データ」に含まれる「楽器の種類」、「音の高さ（ピッチ）」、「音の持続時間」、「発音の強さ（ベロシティ）」、「音像の位置（パンポット）」、ならびに「マイクロフォンから入力されたユーザの音声をアナログ−デジタル変換して得られたデータ」を解析して得られる「平均レベル」、「ピークレベル」、「最もエネルギーの大きな周波数成分」、「特定の周波数成分のエネルギー」のうちの１または複数に応じて、前記画像オブジェクトの「種類」、「大きさ」、「色」、「形状」、「座標」の１または複数のパラメータを動的に変化させることを特徴とするカラオケ装置。
【請求項２】
前記カラオケ装置は、
さらに電子楽器を接続可能な接続ポートを備え、
「前記接続ポートからＭＩＤＩまたはＭＩＤＩに類似の形式で入力される楽器演奏データ」に含まれる「楽器の種類」、「音の高さ（ピッチ）」、「音の持続時間」、「発音の強さ（ベロシティ）」、「音像の位置（パンポット）」のうちの１または複数のパラメータに応じて、前記画像オブジェクトの「種類」、「大きさ」、「色」、「形状」、「座標」の１または複数のパラメータを動的に変化させることを特徴とする請求項１に記載のカラオケ装置。
【発明の詳細な説明】
【技術分野】
【０００１】  この発明はカラオケ装置に関し、特にカラオケ伴奏ならびにユーザが歌った音に応じてテレビ画面の映像を変化させるカラオケ装置に関する。
【背景技術】
【０００２】この種の従来技術が特許文献１に開示されている。【０００３】特許文献１の従来技術は、歌唱者をカメラで撮像し、その映像をマイクの音声出力信号に応じて変化させるものである。
【特許文献１】特開平６−２５０６８３［Ｇ１０Ｋ  １５／０４］
【発明の開示】
【発明が解決しようとする課題】
【０００４】上記の従来技術は、人の顔を撮影した映像を変化させるものであったので、画像表現に限界があった。【０００５】それゆえに、この発明の主たる目的は、カラオケ伴奏楽譜データ、ユーザの音声、ユーザの楽器演奏に含まれる様々なパラメータに応じて、画像オブジェクトを生成するためのパラメータを変化させ、その結果生成された画像オブジェクトをカラオケの背景画像として表示可能なカラオケ装置を提供することである。また、拡張性のある、画像表現豊かなカラオケ装置を提供することである。
【課題を解決するための手段】
【０００６】
【０００７】請求項１の発明は、家庭用テレビ装置などに映像信号ならびに音声信号を出力可能なカラオケ装置であって、カラオケ装置に内蔵、または着脱可能なマイクロフォン、カラオケ装置に内蔵、または着脱可能なメモリ、および二次元および／または三次元で表現される画像オブジェクトを生成し、１または複数の画像オブジェクトから構成される画像をカラオケの背景画像として生成し、かつカラオケの歌詞を示す歌詞画像と合成し、映像信号として出力する画像処理手段を含み、画像処理手段は、「メモリに格納されたカラオケ伴奏楽譜データ」に含まれる「楽器の種類」、「音の高さ（ピッチ）」、「音の持続時間」、「発音の強さ（ベロシティ）」、「音像の位置（パンポット）」、ならびに「マイクロフォンから入力されたユーザの音声をアナログ−デジタル変換して得られたデータ」を解析して得られる「平均レベル」、「ピークレベル」、「最もエネルギーの大きな周波数成分」、「特定の周波数成分のエネルギー」のうちの１または複数に応じて、画像オブジェクトの「種類」、「大きさ」、「色」、「形状」、「座標」の１または複数のパラメータを動的に変化させることを特徴とするカラオケ装置である。【０００８】請求項１の発明によれば、カラオケ伴奏楽譜データならびにユーザの音声に同期した映像がカラオケの背景画像として生成されるので、ユーザは、カラオケを楽しむ際に音楽と映像の一体感を感じることができ、これによりカラオケの新たな楽しみを提供できる。また、カラオケの曲ごとに背景画像を用意する必要が無く、カラオケのコンテンツ制作のための労力を少なくすることができる。【０００９】請求項２の発明は、カラオケ装置が、さらに電子楽器を接続可能な接続ポートを備え、
「接続ポートからＭＩＤＩまたはＭＩＤＩに類似の形式で入力される楽器演奏データ」に含まれる「楽器の種類」、「音の高さ（ピッチ）」、「音の持続時間」、「発音の強さ（ベロシティ）」、「音像の位置（パンポット）」のうちの１または複数のパラメータに応じて、画像オブジェクトの「種類」、「大きさ」、「色」、「形状」、「座標」の１または複数のパラメータを動的に変化させることを特徴とするカラオケ装置である。【００１０】請求項２の発明によれば、さらにユーザの楽器演奏に同期した映像がカラオケの背景画像として生成されるので、ユーザは、カラオケを楽しむ際に楽器演奏と映像の一体感を感じることができ、これによりカラオケの新たな楽しみを提供できる。
【発明の効果】
【００１１】
【００１２】この発明によれば、カラオケの新たな楽しみを提供することが可能になる。【００１３】この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１４】図１を参照して、この発明の実施例であるカラオケ装置１のカラオケ装置構成図を説明する。
図１は、カラオケ装置１ならびにカラオケ装置１に接続される機器を含むシステムの構成図です。カラオケ装置１は、家庭用テレビ３に接続されます。家庭用テレビ３の画面に歌詞字幕画像ならびに背景画像が表示され、テレビのスピーカーからカラオケの伴奏音楽ならびにマイクロフォン１１から入力されたユーザの音声が再生されます。また、カラオケ装置１は、マイクロフォン１１、キースイッチ１３、メモリカートリッジコネクタ１２、拡張ポート１７等を備えており、ハウジングの形状は、例えばマイクロフォン型をしている。
以下に各部の機能について記します。【００１５】マイクロフォン１１
ユーザの声をアナログ音声信号に変換します。【００１６】キースイッチ１３
カラオケ装置１を操作するための複数のキーから構成されます。本実施例では、「Ｓｌｏｗキー」、「Ｆａｓｔキー」、「ｂ（フラット）キー」、「＃（シャープ）キー」、「＋（プラス）キー」、「−（マイナス）キー」、「キャンセルキー」、「決定キー」の８つのキーより構成されます。以下に各キーの機能を示します。
・Ｓｌｏｗキー：再生中の曲のテンポを遅くします。１回押すごとにテンポが一段階遅くなります。但し、既に最も遅いテンポで曲が再生されている場合には、このキーを押しても何も起こりません。
・Ｆａｓｔキー：再生中の曲のテンポを速くします。１回押すごとにテンポが一段階速くなります。但し、既に最も早いテンポで曲が再生されている場合には、このキーを押しても何も起こりません。
・♭キー：再生中の曲のピッチ（音の高さ）を低くします。１回押すごとにピッチが一段階低くなります。但し、既に最も低いピッチで曲が再生されている場合には、このキーを押しても何も起こりません。
・＃キー：再生中の曲のピッチを高くします。１回押すごとにピッチが一段階高くなります。但し、既に最も高いピッチで曲が再生されている場合には、このキーを押しても何も起こりません。
・＋キー：マイクロフォン１１から入力されたユーザの音声のボリューム（音量）を大きくします。１回押すごとにボリュームが一段階大きくなります。但し、既に最も大きいボリュームで音声が再生されている場合には、このキーを押しても何も起こりません。
・−キー：マイクロフォン１１から入力されたユーザの音声のボリューム（音量）を小さくします。１回押すごとにボリュームが一段階大きくなります。但し、既に最も小さいボリュームで音声が再生されている場合には、このキーを押しても何も起こりません。
・キャンセルキー：メニュー画面、曲選択画面においては、選択中の項目の解除を行ったり、一段階上位のメニューに移動したりするために用いられます。曲の再生中にこのキーが押されると、曲の再生が中断され、曲選択画面に戻ります。
・決定キー：メニュー画面、曲選択画面において、選択中の項目の決定を行うために用いられます。
「♭（フラット）キー」、「＃（シャープ）キー」、「＋（プラス）キー」、「−（マイナス）キー」の４つのキーは、それぞれ左、右、上、下を示す矢印のように十字に配置され、メニュー画面、曲選択画面において、選択中の項目を上下左右に移動させる目的にも用いられます。【００１７】メモリカートリッジ２
デコード前動画データ、デコード前音声データ、楽譜データ、画像オブジェクトデータ、ＣＰＵ１０２が実行するプログラムコード、ＤＳＰ１０３が実行するプログラムコード等をＮＡＮＤ型フラッシュメモリまたはマスクＲＯＭなどに格納しています。【００１８】メモリカートリッジコネクタ１２
メモリカートリッジ２を接続するためのコネクタです。【００１９】拡張ポート１７
電子楽器等４を接続するためのコネクタです。ＵＡＲＴをベースにしています。【００２０】外部マイクロフォン５
複数のユーザがカラオケを楽しむ場合、装置本体のマイクロフォン１１から音声を入力するユーザとは別のユーザの声をアナログ音声信号に変換し、出力します。【００２１】外部マイクロフォン入力端子１８
外部マイクロフォン５からアナログ音声信号を入力するための端子です。【００２２】映像出力端子１４
カラオケ装置１が生成したコンポジットビデオ信号を家庭用テレビ３に出力するための端子です。【００２３】音声出力端子１５，１６
カラオケ装置１が生成したアナログオーディオ信号を家庭用テレビ３に出力するための端子です。左チャンネルの信号を出力するための音声出力端子（左）１５と、右チャンネルの信号を出力するための音声出力端子（右）１６から構成されます。【００２４】次に、図２を参照して、本発明のカラオケ装置１の映像出力端子１４から出力される画像信号によって、テレビ画面に描写される画面イメージの説明をする。【００２５】図２の（Ａ）
カラオケの背景画像として、動画を表示する場合の画面イメージです。動画データはＭＰＥＧ−４やＨ．２６４（ＭＰＥＧ−４／ＡＶＣ）等の形式で圧縮され、メモリカートリッジ２に格納されています。デコード（解凍）された動画データは、後述するディスプレイコントローラ１０９が扱うビデオスクリーンに表示されます。カラオケの字幕画像は、後述するグラフィックスプロセッサ１０７がフレームバッファに描画し、ディスプレイコントローラ１０９がフレームバッファに格納された画像をビデオスクリーンにオーバーレイして表示します。【００２６】図２の（Ｂ）
カラオケの背景画像として、伴奏ならびにユーザの声に応じてリアルタイムに変化する３ＤＣＧ（三次元コンピュータグラフィックス）で描画された画像オブジェクトを表示する場合の画面イメージです。この例では、伴奏に合わせて「人」を表す画像オブジェクトが踊り、マイクロフォン１１から入力されたユーザの声に合わせて画像オブジェクトが歌っているかのごとく口を動かします。画像オブジェクトのモデルデータやアニメーションデータはメモリカートリッジ２に格納されています。画像オブジェクトはグラフィックスプロセッサ１０７によって字幕画像とともにフレームバッファに描画されます。ディスプレイコントローラ１０９はフレームバッファに格納された画像を表示します。【００２７】次に図３を参照して、本発明のカラオケ装置１の電気的な構成を示すブロック図を説明する。（図１で説明済みの部分については一部説明を省略します。）【００２８】入力段アンプ２１
マイクロフォン１１から入力されたアナログ音声信号の振幅を増幅してＡＤＣ付きマイコン２２に出力します。【００２９】ＡＤＣ付きマイコン２２
２つのアナログ入力端子ならびにＡＤＣ（アナログ−デジタル変換器）を備えるマイコン（マイクロコントローラ）です。入力段アンプ２１ならびに外部マイクロフォン入力端子１８から入力されたアナログ音声信号をデジタル音声データに変換し、マルチメディアプロセッサＳｏＣに出力します。マルチメディアプロセッサＳｏＣ１００の第１のＵＡＲＴポート（ＵＡＲＴ＃０）に接続されます。【００３０】キースイッチ１３
マルチメディアプロセッサＳｏＣの第１のＧＰＩＯ（Ｇｅｎｅｒａｌ  Ｐｕｒｐｏｓｅ  Ｉ／Ｏ）セット（ＧＰＩＯ＃０  １１６）に接続され、各キーが押下されているか否かのステータスがマルチメディアプロセッサＳｏＣ１００に入力されます。【００３１】拡張コネクタ
マルチメディアプロセッサＳｏＣ１００の第２のＵＡＲＴポート（ＵＡＲＴ＃１）に接続されます。電子楽器から入力された演奏情報をシリアル通信でマルチメディアプロセッサＳｏＣ１００に伝達します。この拡張コネクタの仕様用途は、メモリカートリッジ２に格納されたソフトウェアに応じて様々に変化します。電子楽器以外にも、カラオケ装置１本体の検査器などを接続することも可能です。【００３２】電源回路２９
乾電池２８より＋３．３Ｖ、＋１．２Ｖ等の複数の直流電源電圧を生成し、装置内の各部に供給します。【００３３】マルチメディアプロセッサＳｏＣ（Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）１００
カラオケ装置１の電源が投入される、あるいはカラオケ装置１のシステムリセットが発生すると、先ずブートＲＯＭ２３に格納されているプログラムコードを実行し、メモリカートリッジ２からプログラムコードならびにデータをメインメモリ２４にロードし、ロードされたプログラムコードの実行を開始します。プログラムコードの実行に従い、ＡＤＣ付きマイコン２２から入力されたデジタル音声データ、キースイッチ１３のステータス、電子楽器等４からの入力データに応じて、家庭用テレビ３に出力する画像、音声を生成します。生成された画像はコンポジットビデオ信号に変換され、映像出力端子１４を通じて出力されます。音声はＩ２Ｓフォーマットのデジタル音声信号としてオーディオＤＡＣ２６に出力されます。【００３４】ブートＲＯＭ２３
カラオケ装置１の電源が投入される、あるいはカラオケ装置１のシステムリセットが発生した際に、マルチメディアプロセッサＳｏＣ１００内のＣＰＵ１０２が実行するプログラムコードを格納しています。また、カラオケ装置１起動時に表示されるタイトル画面の画像データ、タイトル画面表示時に再生される音楽データも格納しています。【００３５】メインメモリ２４
マルチメディアプロセッサＳｏＣ１００の主記憶装置です。８Ｍバイト〜３２Ｍバイト程度のＳＤＲＡＭで構成されます。メモリカートリッジ２からロードされたプログラムコードならびにデータを格納する領域、生成された画像を格納するフレームバッファとしての領域、３ＤＣＧにマッピングされるテクスチャデータの格納領域などに分かれています。【００３６】オーディオＤＡＣ２６
マルチメディアプロセッサＳｏＣから出力されるデジタル音声信号をアナログ音声信号に変換し、出力段アンプ２７に出力します。【００３７】出力段アンプ２７
オーディオＤＡＣ２６から入力されたアナログ音声信号の振幅を増幅し、音声出力端子１５，１６を通じて家庭用テレビ３に出力します。【００３８】メモリカートリッジコネクタ１２
第２のＧＰＩＯセット（ＧＰＩＯ＃１）に接続されます。ＣＰＵ１０２はＩ／Ｏアクセスによりメモリカートリッジ２にアクセスします。【００３９】次に、図４を参照して、マルチメディアプロセッサＳｏＣ１００の内部構成を示すブロック図を説明する。【００４０】ＣＣＣＰ１０１（Ｃｏｎｓｕｍｅｒ  Ｃｕｓｔｏｍ  Ｓｏｌｕｔｉｏｎｓ  Ｐｌａｔｆｏｒｍ）
内部の二つのバスシステムＡＨＢ１０４ならびにＡＰＢ１２０間のバスブリッジ、２セットのＵＡＲＴ、ＧＰＩＯ＃１、外部メモリとのインターフェース（ＳＤＲＡＭコントローラ含む）を含みます。【００４１】ＡＨＢ１０４
主にメモリアクセス等に用いられる高速な内部バスです。ＣＰＵ１０２、ＤＳＰ１０３、ＤＭＡＣ１０６、グラフィックスプロセッサ１０７、ディスプレイコントローラ１０９、サウンドプロセッサ１１０がバスマスタとして接続されています。ＣＣＣＰ１０１を通じて、メモリバス２５やＡＰＢ１２０にアクセスを行うことも可能です。【００４２】ＡＰＢ１２０
主に制御やＩ／Ｏアクセスに用いられる低速な内部バスです。ＤＳＰ１０３、ＤＭＡＣ１０６、グラフィックスプロセッサ１０７、ディスプレイコントローラ１０９、サウンドプロセッサ１１０、ＣＡＵ１１１、パワーマネジメントユニット１１２、タイマ１１３、メールボックス１１４、ＧＰＩＯ＃０がバススレーブとして接続されています。【００４３】ＣＰＵ１０２
３２ビットＲＩＳＣ型ＣＰＵです。ブートＲＯＭ２３ならびにメインメモリ２４に格納されているプログラムコードを実行し、マルチメディアプロセッサＳｏＣ１００の全体制御等を司ります。【００４４】ＤＳＰ１０３（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）
演算を高速に処理するためのプロセッサです。ＤＳＰローカルメモリ１０５に格納されたプログラムコードを実行し、ＤＳＰローカルメモリ１０５を作業メモリ領域として用います。ＣＰＵ１０２との通信は、ＡＰＢ１２０に接続されたメールボックス１１４を通じて行います。ＤＭＡＣ１０６を用い、メインメモリ２４とＤＳＰローカルメモリ１０５の間でＤＭＡ転送を行うことが可能です。【００４５】ＤＳＰローカルメモリ１０５
ＤＳＰ１０３によって実行されるプログラムコードを格納します。また、ＤＳＰ１０３の作業メモリ領域として用いられます。ＤＳＰローカルメモリ１０５と後述するＧＰＵローカルメモリ１０８は物理的には同じメモリブロックであり、この二つのメモリがメモリブロックの領域を分割して使用します。【００４６】ＤＭＡＣ１０６（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌｌｅｒ）メインメモリ２４とＤＳＰメモリとの間、メインメモリ２４とＧＰＵローカルメモリ１０８との間、メインメモリ２４のある領域と別の領域との間でのＤＭＡ転送を行います。【００４７】グラフィックスプロセッサ１０７
３ＤＣＧ生成のための幾何演算（行列演算、アフィン変換、投影変換等）、３ＤＣＧを構成するポリゴンのセットアップ、ポリゴンならびに２Ｄ画像オブジェクトのフレームバッファへの描画を司ります。【００４８】ＧＰＵローカルメモリ１０８
グラフィックスプロセッサ１０７の扱うローカルメモリです。３ＤＣＧ描画の際のＺバッファの格納等の用途に用いられます。【００４９】ディスプレイコントローラ１０９
ビデオスクリーン、フレームバッファ、４面の２Ｄキャラクタスクリーンを合成して表示画面イメージを生成します。ビデオスクリーンならびにフレームバッファの画像イメージは、メインメモリ２４に格納されます。２Ｄキャラクタスクリーンは、縦８ピクセル×横８ピクセルから成るキャラクタを格子状に配置したキャラクタの２次元配列から成る画像です。各キャラクタの画像イメージならびにキャラクタの配置情報は、メインメモリ２４に格納されます。生成された表示画面イメージは、ビデオコンポジット信号波形を表すデジタルデータストリームに変換され、ビデオＤＡＣ１１５に出力されます。【００５０】サウンドプロセッサ１１０
メインメモリ２４にＰＣＭデータかつ／またはＡＤＰＣＭデータとして格納されている楽器音のピッチ変換を行い、最大６４音の楽器音の合成を行いカラオケの伴奏音を再生します。また、ＣＰＵ１０２またはＤＳＰ１０３によってデコードされメインメモリ２４に格納された圧縮ＰＣＭデータを再生します。再生された音声はＩ２Ｓフォーマットのデジタル音声信号として、オーディオＤＡＣ２６に出力されます。【００５１】ＣＡＵ１１１（Ｃｏｎｖｅｒｓｉｏｎ  Ａｃｃｅｌｅｒａｔｉｏｎ  Ｕｎｉｔ）
浮動小数点数と整数または固定小数点数との間の変換を高速に実行します。３ＤＣＧで描画される画像オブジェクトの座標等のパラメータ算出に用いられます。【００５２】パワーマネジメントユニット１１２
ＣＰＵ１０２ならびにＤＳＰ１０３の動作周波数を段階的に制御し、また、使用していない機能ブロックへのクロック信号の供給を停止することにより、マルチメディアプロセッサＳｏＣの電力消費を低減します。【００５３】タイマ１１３
供給されるクロック信号に基づき、内蔵するカウンタの値を更新します。カウント値が所定の値に一致した時、ＣＰＵ１０２かつ／またはＤＳＰ１０３に対する割り込み要求信号をアサートすることも可能です。【００５４】メールボックス１１４
ＣＰＵ１０２とＤＳＰ１０３との間のメッセージ通信に用いられます。【００５５】ＧＰＩＯ＃１
汎用目的で用いられるデジタルＩ／Ｏポートです。本願カラオケ装置においては、キースイッチ１３に接続され、各キーのステータスが入力されます。【００５６】メモリバス２５
非同期インターフェースのＲＯＭ、非同期インターフェースのＳＲＡＭ、ＮＯＲ型フラッシュメモリ、ＳＤＲＡＭが接続可能です。本願カラオケ装置においては、ブートＲＯＭ２３および８Ｍバイト〜３２ＭバイトのＳＤＲＡＭが接続されます。【００５７】ビデオＤＡＣ１１５
ディスプレイコントローラ１０９から入力されるジタルデータストリームをアナログ信号に変換し、コンポジットビデオ信号として出力します。【００５８】次に、図５、図６および図７を参照して、ＣＰＵ１０２およびＤＳＰ１０３の動作フローチャートを用いて、デコードされた動画データをカラオケの背景画像として表示する場合について説明する。Ｓ１は、ステップＳ１の略である。Ｓ２〜も同様である。また、そのステップがＣＰＵ１０２の動作を表している場合は、（ＣＰＵ１０２）と記載し、ＤＳＰ１０３の動作を示している場合は、（ＤＳＰ１０３）と記載することとする。【００５９】Ｓ１（ＣＰＵ１０２）図５を参照。
システム起動後、ＣＰＵ１０２はブートＲＯＭ２３の所定のアドレスに格納されているプログラムコードの実行を開始します。実行開始後、各機能ブロックのハードウェア設定の初期化、ＤＳＰ１０３ローカルメモリとして割り当てるメモリ空間の設定、メインメモリ２４におけるＶＲＡＭ領域（フレームバッファ、テクスチャデータ等を格納）の設定等を行います。【００６０】Ｓ３（ＣＰＵ１０２）
カラオケ装置としてのタイトル画面の表示を行います。表示のためのプログラムコードならびに画像データは、ブートＲＯＭ２３に予め格納されています。【００６１】Ｓ５（ＣＰＵ１０２）
メモリカートリッジ２からＣＰＵ１０２が実行するプログラムコード、ならびにＤＳＰ１０３が実行するプログラムコードをメインメモリ２４にロードします。【００６２】Ｓ７（ＣＰＵ１０２）
プログラムコードのメインメモリ２４へのロード完了を待機します。【００６３】Ｓ９（ＣＰＵ１０２）
ロード完了後、ＣＰＵ１０２がロードされたプログラムコードの実行を開始します。【００６４】Ｓ１１（ＣＰＵ１０２）
ＤＭＡにより、ＤＳＰ１０３が実行するプログラムコードをＤＳＰ１０３ローカルメモリに転送します。【００６５】Ｓ１３（ＣＰＵ１０２）
ＤＭＡ転送の完了を待機します。【００６６】Ｓ１５（ＣＰＵ１０２）
転送完了後、ＤＳＰ１０３に対しＤＳＰローカルメモリ１０５に転送されたプログラムコードの実行開始を指示します。【００６７】Ｓ１７（ＤＳＰ１０３）
ＤＳＰ１０３は、プログラムコードの実行開始後、直ちにＤＳＰ１０３の実行環境の初期化処理を行います。【００６８】Ｓ２１（ＣＰＵ１０２）図６を参照。
ＣＰＵ１０２は、所定量のデコード前動画データ、所定量のデコード前音声データをメインメモリ２４にロードする必要があるかどうかを確認します。最初にこのステップが実行される際には、メインメモリ２４には両者とも全くロードされていないので、必ず両者ともにロードの必要有り、と判断されます。ＣＰＵ１０２がロードする必要ありと判断した場合は、Ｓ２３へ進み、そうでない場合は、Ｓ２５へ進む。【００６９】Ｓ２３（ＣＰＵ１０２）
所定量のデコード前動画データ、所定量のデコード前音声データのいずれか、または両方がロードの必要有りと判断されると、それらのデータのメモリカートリッジ２からメインメモリ２４へのロードを行います。【００７０】Ｓ２５（ＣＰＵ１０２）
現在のプレゼンテーションタイムの確認を行います。プレゼンテーションタイムは再生開始時に０にクリアされ、ビデオ信号の垂直同期、またはタイマ１１３によるカウント値に基づいて更新されます。【００７１】Ｓ２７（ＣＰＵ１０２）
メインメモリ２４にロードされた音声データのデコード処理はＣＰＵ１０２によって行われます。メインメモリ２４にロードされた音声データは、ＡＡＣ、ＭＰ３等の形式で圧縮されています。ＣＰＵ１０２は、これを解凍し、リニアＰＣＭのオーディオデータストリームを生成します。【００７２】Ｓ２９（ＣＰＵ１０２）
デコードされた音声データ（リニアＰＣＭ形式）を再生するよう、サウンドプロセッサ１１０に指示します。【００７３】Ｓ３１（ＣＰＵ１０２）
次に表示すべき画像フレームデータが、ＤＳＰ１０３によって既にメインメモリ２４に格納されているか否かを確認します。ＣＰＵ１０２がメインメモリ２４に格納されていると判断した場合は、Ｓ３３へ進み、そうでない場合は、Ｓ４１へ進む。【００７４】Ｓ３３（ＣＰＵ１０２）
現在のプレゼンテーションタイムが、次のビデオフレームで新たな画像フレームデータを表示すべきタイミングに到達しているか否かを確認します。ＣＰＵ１０２が該タイミングであると判断した場合は、Ｓ３５へ進み、そうでない場合は、Ｓ４１へ進む。【００７５】Ｓ３５（ＣＰＵ１０２）
動画の表示品質を向上させるため、画像データにディザリング処理を施す場合があります。ディスプレイコントローラ１０９が扱う色データ形式は最大で１ピクセル当り１６ビットであるため、デコードされた動画データ（通常１ピクセル当り２４ビット）をそのまま１６ビットに精度を落とす処理を行うと、色の境界縞（マッハバンド）が目立ってしまいます。デコードされた動画データの各ピクセルの色データにランダムノイズを加えた後に精度を落とす処理を行うと、人間の目にはマッハバンドが目立たなくなります。この処理はディザリングと呼ばれます。ディザリング処理を行う際に、色空間の変換を行う必要がある場合があります。Ｈ．２６４ならびにＭＰＥＧ−４といった動画コーデックでは、デコード後の動画データの色空間の形式は、色差信号ＹＣｂＣｒとなっています。ディザリングの処理は、通常ＲＧＢ色空間で行われるので、ＹＣｂＣＲからＲＧＢへの色空間変換処理がディザリング処理の前に必要となります。本実施例においては、色空間変換処理はＣＰＵ１０２によって行われます。次に表示すべき画像フレームデータとして、ＤＳＰ１０３によってメインメモリ２４に格納されているデータの各ピクセルの色空間を、ＹＣｂＣｒからＲＧＢへと変換します。【００７６】Ｓ３７（ＣＰＵ１０２）
色空間変換後の画像フレームデータに対し、ディザリング処理を行います。画像フレームデータの各ピクセルの表示ＸＹ座標に基づき、ノイズデータをデータテーブルより抽出し、各ピクセルの色データに加算します。【００７７】Ｓ３９（ＣＰＵ１０２）
ディザリング処理が完了した画像フレームデータを、次のビデオフレームでビデオスクリーンに表示するように設定を行います。【００７８】Ｓ４１（ＣＰＵ１０２）
字幕画像のディスプレイリストの生成を行います。字幕画像は、フレームバッファに描画され、ビデオ信号出力時にはディスプレイコントローラ１０９によってビデオスクリーンにオーバーレイされて表示されます。本実施例では、字幕画像の各文字データは、スプライト（矩形状の二次元グラフィックスオブジェクト）としてフレームバッファに描画されます。ＣＰＵ１０２は、各スプライトの描画座標、色深度、カラールックアップテーブル指定等のパラメータを含むディスプレイリストを作成します。【００７９】Ｓ４３（ＣＰＵ１０２）
Ｓ４１で作成されたディスプレイリストに基づいて字幕画像をフレームバッファに描画するよう、グラフィックスプロセッサ１０７に描画指示を与えます。メインメモリ２４のＶＲＡＭ領域には、二セットのフレームバッファが備えられ、描画用と表示用とが随時切り替えられます。グラフィックスプロセッサ１０７は、描画用に設定されたフレームバッファに対する描画を行います。【００８０】Ｓ４５（ＣＰＵ１０２）
コンポジットビデオ信号における垂直ブランキング期間の開始を待機します。【００８１】Ｓ４７（ＣＰＵ１０２）
フレームバッファかつ／またはビデオスクリーンの更新が完了していれば、ディスプレイコントローラ１０９が表示を行うために読み出すフレームバッファかつ／またはビデオスクリーン用データの切り替えを行います。【００８２】Ｓ４８（ＣＰＵ１０２）
コンポジットビデオ信号の垂直ブランキング期間の開始、またはタイマ１１３のカウント値に基づいてプレゼンテーションタイムの更新を行います。【００８３】次にＤＳＰ１０３の処理を説明する。
Ｓ４９（ＤＳＰ１０３）
ＤＳＰ１０３は、所定量のデコード前動画データが、メインメモリ２４に既にロードされているか否かを確認します。そして、ロードされるまで待機します。【００８４】Ｓ５１（ＤＳＰ１０３）
ＤＭＡを用い、ロード済みのデコード前動画データをメインメモリ２４からＤＳＰローカルメモリ１０５に転送します。【００８５】Ｓ５３（ＤＳＰ１０３）
動画のデコード処理を行います。本実施例では、ＤＳＰ１０３はＨ．２６４デコーダソフトウェアまたはＭＰＥＧ−４デコーダソフトウェアを実行します。【００８６】Ｓ５５（ＤＳＰ１０３）
ＤＭＡを用い、次に表示すべき画像フレームデータをＤＳＰローカルメモリ１０５からメインメモリ２４に転送します。【００８７】Ｓ５７（ＤＳＰ１０３）
メールボックス１１４を用い、次に表示すべき画像フレームデータがメインメモリ２４に格納済みであることをＣＰＵ１０２に通知します。【００８８】Ｓ５９（ＤＳＰ１０３）
次のデコード処理の単位に必要なデコード前動画データが、ＤＳＰローカルメモリ１０５中に存在するか否かを確認します。既に存在していれば、次の画像フレームデータのデコード処理を継続できます。（Ｓ４９へ戻る）そうでない場合は、Ｓ５３に戻る。【００８９】図７を参照して、カラオケの伴奏ならびにマイクロフォン１１から入力されたユーザの音声に応じて変化するＣＧキャラクタをカラオケの背景画像として表示する場合における、ＣＰＵ１０２ならびにＤＳＰ１０３で行われる処理の内容を示すフローチャートを説明する。（シンクロＣＧ）初期化部分の処理（Ｓ１〜Ｓ１７）は図５の動画再生のフローチャートと同じであるため、省略しています。但し、ＤＳＰ１０３で実行されるプログラムコードの内容については、動画再生の場合とは異なります。【００９０】Ｓ６１（ＣＰＵ１０２）
マイクから入力された音声データをＡＤＣ付きマイコン２２から受領し、メインメモリ２４に格納します。外部マイクロフォン５も用いて二人分のユーザの声が入力される場合には、二つの音声データストリームがインターリーブされてＡＤＣ付きマイコン２２から入力されます。【００９１】Ｓ６３（ＣＰＵ１０２）
所定量の音声データの受領が完了を待機します。ＤＳＰ１０３で行われる処理には、所定サンプル数のＰＣＭ形式の音声データが必要とされます。【００９２】Ｓ６５（ＣＰＵ１０２）
メールボックス１１４を用い、ＤＳＰ１０３に所定量の音声データが既にメインメモリ２４に格納されていることを通知します。【００９３】Ｓ６７（ＣＰＵ１０２）
サウンド処理用カウンタの値を更新します。本実施例では、カラオケの伴奏はＭＩＤＩベースの楽譜データに基づいて行われます。この場合、テンポや各音符の再生タイミングの管理については、ＣＰＵ１０２がサウンド処理用カウンタに基づいて行います。【００９４】Ｓ６９（ＣＰＵ１０２）
楽譜データは、各音符の「楽器の種類」「再生開始タイミング」、「再生停止タイミング」、「ピッチ（音の高さ）」、「ベロシティ（発音の強さ）」、「パンポット（音像の位置）」等の情報を、時系列で格納しています。ＣＰＵ１０２は、楽譜データの読み出し位置を指し示すポインタを管理し、サウンド処理カウンタの値に応じてポインタをどこまで進めるかを制御します。このステップでは、ポインタが現在指し示す位置の楽譜データを読み出し、解釈を行います。【００９５】Ｓ７０（ＣＰＵ１０２）
ポインタの値を、楽譜データから次に読み出しを行うべき位置へ更新します。【００９６】Ｓ７１（ＣＰＵ１０２）
サウンド処理用カウンタの値に基づき、ポインタの値が今回処理を行うべき楽譜データを全て読み出し・解釈済みであるか否かを判断します。読み出し済みならＳ７３へ進み、そうでないならＳ６９へ戻る。【００９７】Ｓ７３（ＣＰＵ１０２）
読み出した楽譜データの「楽器の種類」「再生開始タイミング」、「再生停止タイミング」、「ピッチ（音の高さ）」、「ベロシティ（発音の強さ）」、「パンポット（音像の位置）」の情報に応じて、描画する画像オブジェクトの「種類」、「大きさ」、「色」、「形状」、「座標」のパラメータを算出します。【００９８】Ｓ７５（ＣＰＵ１０２）
メールボックス１１４を確認し、ＤＳＰ１０３からマイク入力音声のパラメータが通知されているか否かを判断します。パラメータが通知済みならばＳ７７へ進み、そうでないなら待機する。【００９９】Ｓ７７（ＣＰＵ１０２）
ＤＳＰ１０３から通知されるマイク入力音声のパラメータ「平均レベル」、「ピークレベル」、「最もエネルギーの大きな周波数成分」、「特定の周波数成分のエネルギー」に応じて、描画する画像オブジェクトの「種類」、「大きさ」、「色」、「形状」、「座標」のパラメータを変化させます。【０１００】Ｓ７９（ＣＰＵ１０２）
Ｓ７３ならびにＳ７７にて算出された画像オブジェクトのパラメータに基づき、背景として表示される画像オブジェクトのディスプレイリストを作成します。また、字幕画像のディスプレイリストも合わせて作成します。背景として表示される画像オブジェクトの内、２ＤＣＧで再現されるものはスプライト、３ＤＣＧで再現されるものはポリゴンとしてフレームバッファに描画されます。字幕画像を構成する各文字は、動画再生の場合と同様に、スプライトとしてフレームバッファに描画されます。ＣＰＵ１０２は、「各ポリゴンの描画座標、頂点色、テクスチャパターン、テクスチャ色深度、頂点テクスチャ座標等」、ならびに、「スプライトの描画座標、色深度、カラールックアップテーブル指定等」のパラメータを含むディスプレイリストを作成します。【０１０１】Ｓ８１（ＣＰＵ１０２）
Ｓ７９で作成されたディスプレイリストに基づいて、背景として表示される画像オブジェクト、ならびに、字幕画像をフレームバッファに描画するよう、グラフィックスプロセッサ１０７に描画指示を与えます。【０１０２】Ｓ８３（ＣＰＵ１０２）
コンポジットビデオ信号における垂直ブランキング期間の開始を待機します。【０１０３】Ｓ８４（ＣＰＵ１０２）
フレームバッファの更新が完了していれば、ディスプレイコントローラ１０９が表示を行うために読み出すフレームバッファの切り替えを行います。Ｓ８４の終了後、Ｓ６１に戻ります。【０１０４】一方、ＤＳＰ１０３の動作について説明する。
Ｓ８５（ＤＳＰ１０３）
所定量のマイク入力音声データが、メインメモリ２４に既にロードされているか否かを確認します。ロードされていた場合は、Ｓ８７に進み、そうでない場合は待機する。【０１０５】Ｓ８７（ＤＳＰ１０３）
ＤＭＡを用い、ロード済みのマイク入力音声データをメインメモリ２４からＤＳＰローカルメモリ１０５に転送します。【０１０６】Ｓ８９（ＤＳＰ１０３）
マイク入力音声データの「平均レベル」ならびに「ピークレベル」の算出を行います。平均レベルは、全サンプルの平均値を求めた後、平均偏差または標準偏差より求めます。ピークレベルは、全サンプルの平均値からの最大偏差より求めます。【０１０７】Ｓ９１（ＤＳＰ１０３）
マイク入力音声データに対するＦＦＴ（高速フーリエ変換）処理を行います。処理結果より、「最もエネルギーの大きな周波数成分」ならびに「特定の周波数成分のエネルギー」を算出します。【０１０８】Ｓ９３（ＤＳＰ１０３）
メールボックス１１４を用い、Ｓ８９ならびにＳ９１で算出したマイク入力音声データの「平均レベル」、「ピークレベル」、「最もエネルギーの大きな周波数成分」、「特定の周波数成分のエネルギー」をＣＰＵ１０２に通知します。Ｓ９３の終了後、Ｓ８５に戻ります。【０１０９】次に、本発明のカラオケ装置を用いた、アプリケーションソフトの例を示す。【０１１０】１．動画背景とシンクロＣＧの合成例
ＤＳＰ１０３は、Ｈ．２６４またはＭＰＥＧ−４のデコーダソフトウェアを実行し、圧縮された動画データを解凍し、メインメモリ２４に格納する。【０１１１】ＣＰＵ１０２は、ＭＩＤＩベースの楽譜データに基づき、サウンドプロセッサ１１０に対してカラオケの伴奏の再生指示を行う。【０１１２】また、ＣＰＵ１０２は、楽譜データ中の音符のパラメータ、ならびにマイク音声のパラメータに基づき、３ＤＣＧ画像オブジェクトのパラメータを算出する。さらに算出したパラメータに基づき、３ＤＣＧ画像オブジェクトを構成する各ポリゴンのディスプレイリストを生成し、グラフィックスプロセッサ１０７に渡す。【０１１３】また、ＣＰＵ１０２は、楽譜データに埋め込まれた歌詞データならびに歌詞表示制御データに基づき、字幕画像を構成する各スプライトのディスプレイリストを生成し、グラフィックスプロセッサ１０７に渡す。【０１１４】グラフィックスプロセッサ１０７は、ディスプレイリストに基づき、ポリゴンで構成された３ＤＣＧ画像オブジェクト、ならびにスプライトで構成された字幕画像をフレームバッファに描画する。【０１１５】ディスプレイコントローラ１０９は、メインメモリ２４に格納された解凍済み動画データをビデオスクリーンの上に、フレームバッファに格納された画像をオーバーレイして表示する。【０１１６】これにより、予め録画された動画の上に、伴奏やマイク音声に応じてリアルタイムに変化するＣＧキャラクタを合成した画像を、カラオケ背景として用いることが可能。【０１１７】２．シンクロＣＧカラオケの表示例
ポリゴンで表現される３ＤＣＧ画像オブジェクトとして「人間」を表示。【０１１８】伴奏の楽譜データ中の、「ピアノ」の音符の「ピッチ（音の高さ）」に応じて「人間」の手の位置が上下に移動。ピッチが高ければ手の位置も高く、ピッチが低ければ手の位置も低く描画される。【０１１９】「人間」が画面内でジャンプを繰り返している。マイク音声データの「ピークレベル」に応じてジャンプの高さが決定される。ピークレベルが高ければジャンプの高さが高くなり、ピークレベルが低ければジャンプの高さも低くなる。【０１２０】３．伴奏やマイク音声に応じてインタラクティブに変化するカラオケ動画背景例
多数の短い動画データがメモリカートリッジ２に予め格納されている。【０１２１】ＣＰＵ１０２は、楽譜データ中の音符のパラメータ、ならびにマイク音声のパラメータに基づき、現在再生中の動画データの再生が完了するまでに、どの動画データを次に再生するを決定し、デコード前の動画データをメモリカートリッジ２からメインメモリ２４にロードする。【０１２２】ＤＳＰ１０３は、メインメモリ２４に格納された動画データを順次デコード（解凍）する。【０１２３】これにより、例えば、伴奏やマイク音声に応じてストーリーが変化する動画をカラオケ背景として表示できる。【０１２４】さらに、本発明のカラオケ装置は次のような特徴を持ってもよい。
４．例えば、「カラオケ装置を用いるボイストレーニング」を実行する場合は、次のような構成を用いて実現することが可能である。【０１２５】マルチメディアプロセッサＳｏＣ１００に搭載されているＤＳＰ１０３は、マイクから入力されデジタルデータに変換されたユーザの音声に対し、ＦＦＴ（高速フーリエ変換）を施し、最もエネルギーの大きな周波数成分を算出する。【０１２６】マルチメディアプロセッサＳｏＣ１００に搭載されているＣＰＵ１０２は、ＭＩＤＩベースの楽譜データをメモリカートリッジ２から読み出しつつ、サウンドプロセッサ１１０に指示を与え、カラオケ伴奏を再生する。【０１２７】楽譜データには、「ボイスガイドデータ」が含まれる。ボイスガイドデータは、ユーザが歌うべき音階の各音符の音の高さならびにタイミングを示すデータである。ＣＰＵ１０２はボイスガイドデータを楽譜データから読み出すが、必ずしもサウンドプロセッサ１１０を用いて再生は行わない。【０１２８】ＣＰＵ１０２は、ボイスガイドデータの各音符に対応する、１または複数の第１の楽譜画像を画面に表示するようグラフィックスプロセッサ１０７に指示を与える。音符画像の表示位置は、ボイスガイドデータの音符の音の高さに関連付けられる。例えば、音の高さが高ければ、音符画像の画面上における垂直表示位置が高くなる。【０１２９】ボイスガイドデータの各音符に対応する音符画像の近傍に、第１の楽譜画像に一対一に対応する第２の楽譜画像を画面に表示するようグラフィックスプロセッサ１０７に指示を与える。第１の楽譜画像と第２の楽譜画像とは、例えば色または形状が異なり、ユーザが画面上でその違いを識別可能なようになされている。第２の音符画像の表示位置は、ＤＳＰ１０３から伝達された「ユーザの音声の最もエネルギーの大きな周波数成分」の高さに関連付けられる。例えば、音の高さが高ければ、第２の音符画像の画面上における垂直表示位置が高くなる。【０１３０】ユーザは、画面上の二種類の音符画像の表示位置の違いから、歌うべき音階の高さと、現在歌っている音の高さとのずれをリアルタイムに認識することができるため、カラオケのトレーニングとしての効果が期待できる。【０１３１】５．音声を利用したゲーム
・音声認識機能や英語発音評定機能を付加することにより、３ＤＣＧなどとあわせて、従来機器では実現困難なゲームコンテンツの提供が可能である。
・本発明によれば、拡張ポート１７にマイク、マラカス、タイコ等を接続することによって、音楽の演奏や各種音楽ゲームを実行可能である。【０１３２】６．伴奏用楽器
本体拡張ポート１７に接続することにより、楽器を用いた伴奏が可能になる。マラカスや太鼓などの演奏はもとより、楽器マイナス１演奏（ちょうどよいタイミングで楽器を操作することにより、そのタイミングの音程・音色での音が鳴る）によりギターやピアノなどの音程がある楽器の演奏も可能である。【０１３３】７．通信カラオケ
ＲＯＭカートリッジスロットに無線ＬＡＮモジュールを差し込むことにより、ＰＣ不要の通信カラオケが実現可能である。【０１３４】８．動画表示機能を活かした「カラドラマ」・「カラアニメ」
既存動画コンテンツの二次利用が可能なので、ドラマやアニメの登場人物になりきることができる「カラドラマ」や「カラアニメ」コンテンツの提供が可能である。（「カラドラマ」・「カラアニメ」とは、ドラマやアニメの登場人物のアテレコを楽しむことができるコンテンツです。）特定の人物の音声だけをミュートした状態で、その人物の台詞をアテレコすることにより、あたかも、その番組に登場しているような楽しみを得ることができます。さらに、音声認識を利用して、ユーザのアテレコの内容によりドラマの展開を変えるなど、これまでの機器では実現が困難であった、さまざまな遊びを提供することが可能です。【０１３５】なお、本願発明のカラオケ装置の特徴をまとめると次のようになる。
本願発明を用いることにより、テレビに接続する家庭用カラオケ装置を安価に実現することができます。本願発明は、ＣＰＵ、グラフィックスプロセッサ１０７、サウンドプロセッサ１１０等のカラオケ装置に必要とされる機能を内蔵しているだけでなく、搭載されているＤＳＰ１０３により、圧縮された動画データの解凍、様々なサウンドプロセッシング等を行うことが可能です。
本願発明のカラオケ装置の特長を以下に示します。【０１３６】１．動画によるカラオケの背景
本願発明のカラオケ装置に搭載されているＣＰＵ１０２ならびにＤＳＰ１０３により、Ｈ．２６４またはＭＰＥＧ−４による動画をカラオケの背景として再生することが可能です。Ｈ．２６４でＱＶＧＡ（３２０×２４０ピクセル）／１５ｆｐｓ、ＭＰＥＧ−４でＱＶＧＡ／３０ｆｐｓを達成できる。【０１３７】２．さまざまなオーディオコーデックへの対応
ＤＳＰ１０３のミドルウェアとして、ＭＰ３、ＡＡＣ  ＳＢＲ等の様々なオーディオコーデック（デコーダ）が既に用意されています。これにより、従来のＭＩＤＩベースの家庭用カラオケ機器では再生できなかった「ボーカル付きのオーディオトラック」や「生演奏を録音したトラック」をカラオケの伴奏として再生することが可能になりました。【０１３８】３．伴奏、マイク音声にシンクロした３Ｄグラフィックス
本願発明のカラオケ装置に搭載されているＧＰＵの優れた３Ｄグラフィックス生成機能と、ＤＳＰ１０３で実行されるＦＦＴ等のミドルウェアとの組み合わせにより、「カラオケ伴奏」ならびに「マイクから入力されたユーザーの音声」にシンクロした３Ｄグラフィックスをカラオケの背景として表示することが可能です。
【図面の簡単な説明】
【０１３９】
【図１】図１はこの発明のカラオケ装置の接続図である。
【図２】図２はこの発明のカラオケ装置から出力される映像信号の表示例である。
【図３】図３は図１に示すゲーム装置の電気的な構成を示すブロック図である。
【図４】図４は図３に示すマルチメディアプロセッサＳｏＣの電気的な構成を示すブロック図である。
【図５】図５はＣＰＵ１０２およびＤＳＰ１０３の動作を示すフロー図である。
【図６】図６はＣＰＵ１０２およびＤＳＰ１０３の動作を示すフロー図である。
【図７】図７はＣＰＵ１０２およびＤＳＰ１０３の動作を示すフロー図である。
【符号の説明】
【０１４０】１  …カラオケ装置
２  …メモリカートリッジ
３  …家庭用テレビ
４  …電子楽器等
５  …外部マイクロフォン
１１  …マイクロフォン
１２  …メモリカートリッジコネクタ
１３  …キースイッチ
１４  …映像出力端子
１５  …音声出力端子（左）
１６  …音声出力端子（右）
１７  …拡張ポート
１８  …外部マイクロフォン入力端子
２１  …入力段アンプ
２２  …ＡＤＣ付きマイコン
２３  …ブートＲＯＭ
２４  …メインメモリ
２５  …メモリバス
２６  …オーディオＤＡＣ
２７  …出力段アンプ
２８  …乾電池
２９  …電源回路
１００…マルチメディアプロセッサＳｏＣ
１０１…ＣＣＣＰ
１０２…ＣＰＵ
１０３…ＤＳＰ
１０４…ＡＨＢ
１０５…ＤＳＰローカルメモリ
１０６…ＤＭＡＣ
１０７…グラフィックスプロセッサ
１０８…ＧＰＵローカルメモリ
１０９…ディスプレイコントローラ
１１０…サウンドプロセッサ
１１１…ＣＡＵ
１１２…パワーマネジメントユニット
１１３…タイマ
１１４…メールボックス
１１５…ビデオＤＡＣ
１１６…ＧＰＩＯ＃Ｏ
１２０…ＡＰＢ
【図１】
2008122888.tif 000003
【図２】
2008122888.tif 000004
【図３】
2008122888.tif 000005
【図４】
2008122888.tif 000006
【図５】
2008122888.tif 000007
【図６】
2008122888.tif 000008
【図７】
2008122888.tif 000009