NHKの技術シーズ
2018年 7⽉
ネネちゃん

きぬ太くん

（⼀財）ＮＨＫエンジニアリングシステム
特許部

技術シーズの⼀覧
NHK技術カタログの中から、お勧めの技術10件を選びました■ 伝送技術■ 画像・映像処理技術■ バリアフリー技術⑩AR技術を適⽤したテレビシステム①MMT によるコンテンツ配信技術 ⑥オブジェクト認識を利⽤した画像検索技術⑦オブジェクト認識を利⽤した顔画像検索技術■ ⾳声処理技術⑧カット点検出技術②書き起こし⽀援技術③話速変換技術■ CG 関連技術④抑揚変換技術⑨CGキャラクターアニメーション制作技術⑤図やグラフを伝える触覚提⽰技術
1

2018年7月 NHK-ES

① MMTによるコンテンツ配信技術
マルチアングルの映像を、テレビ、タブレット、スマホなどの複数の画⾯で同時に楽しむことができます。
MMT︓Mpeg Media Transport

特許、ノウハウ

2

仕組み、特⻑、利⽤分野

特⻑

端末間同期通信仕組み

受信端末1tTs

コンテンツ１

MMT
送信

Ts

配信

時刻 Ts に送信

コンテンツ2

受信端末2

伝送遅延

配信

処理遅延
コンテンツ１

時刻 Ts + t に提⽰
バッファで調整

Ts

伝送遅延

コンテンツ2

処理遅延

映像はもちろん、⾳声も⾼精度に同期させて提⽰が可能
マルチスクリーンコンテンツのタイミング調整が容易

利⽤分野
複数映像・複数端末を同期させるデジタルサイネージ
マルチスクリーン向けの映像コンテンツ配信
楽器ごとの⾳合わせのための練習⽤コンテンツの再⽣

3

2018年7月 NHK-ES② 書き起こし⽀援技術
⾳声認識技術と組み合わせることで、取材映像の中のコメントなどの書き起こしを効率よく制作することができます。

特許、ノウハウ、ソフトウエア

4仕組み、特⻑、利⽤分野
仕組み

特⻑
⾳声認識技術を利⽤して、効率よく書き起こし可能
Webアプリベースなので、アップデート作業が容易⾳声とテキストの単語単位での対応がわかりやすい利⽤分野
⾳声認識技術を利⽤した書き起こし、講演や会議の議事録作成
5

2018年7月 NHK-ES

③ 話速変換技術
聞き⼿のニーズに応じて、⼈の話す速さを、「ゆっくり」にしても「⾼速」にしても、話す内容をよく聞き取ることができます。

特許、ノウハウ、ソフトウエア
6仕組み、特⻑、利⽤分野
仕組み

ここを聞かせたい（発話部分）
原音声（n倍速）変換音声（原音声と同じ再生時間）

特⻑

背景音

ポーズ

音声

ゆっくり＋（大きく）音声

ゆっくり＋（大きく）高速にしても、この部分が聞き取れることがポイント

時間ポーズや背景⾳を積極的に削除し、リアルタイムの話速変換が可能
声が⼀時的に⼤きくなったり、⾼くなったりした部分を、相対的に“ゆっくり”にすることで、⾼速再⽣でも聞き取りやすい利⽤分野

ラジオ番組のオンデマンドサービス http://www.nhk.or.jp/r-news/
語学学習や録⾳図書などの可変速再⽣ツール
7

2018年7月 NHK-ES

④ 抑揚変換技術
声の抑揚（イントネーションやアクセント）を、⾒易く表⽰したり、お⼿本のように変換することができます。

特許、ノウハウ、ソフトウエア

8

仕組み、特⻑、利⽤分野
仕組み
学習者の声を録⾳し、その⾼さ（抑揚）をお⼿本の軌跡に重ね合わせて、違いを⽐較できる

特⻑
抑揚の特徴を可視化アナウンサーなどの話のプロ（お⼿本）と、⾃分の軌跡との違いを⽬で確認可能
学習者の声の抑揚をお⼿本の抑揚に⼊れ替えること（抑揚変換）で、学習者はお⼿本との違いを⽿でも確認可能

利⽤分野
⾔語の学習ツール、感情や訛りなどの⾳声表現を制御するツール
2018年7月 NHK-ES9

⑤ 図やグラフを伝える触覚提⽰技術
図やグラフを、触覚ディスプレイを使って視覚に障害のある⽅にも伝えることができます。
指位置検出センサー

注意報

警報

危険なところは異なる振動で触覚ディスプレイ

（例）津波情報

特許、ノウハウ
10

仕組み、特⻑、利⽤分野
指位置検出センサー

仕組み

P2

♪♪ 緊急避難所の公園です♪♪

P1
触覚ディスプレイの各ピンの拡大図

特⻑（例）緊急避難所である公園を伝える場合

指で触れた触覚ディスプレイの位置をセンサーが検出
図やグラフを、凹凸やその振動パターンで表現触れた位置の内容を⾳声でも出⼒

利⽤分野
駅や美術館の公共施設における触知案内図
図やグラフの触覚による情報伝達⽀援11

2018年7月 NHK-ES

⑥ オブジェクト認識を利⽤した画像検索技術
画像に映ったオブジェクト（⾶⾏機や時計などの物体、⼈間の顔など）を検索することができます。

特許、ノウハウ、ソフトウエア（ソースコード開⽰の⽤意あり）

12

仕組み、特⻑、利⽤分野
仕組み
クエリー画像を選択（学習データ）特⻑コンピュータ

検索対象の画像飛行機
スコア：99
飛行機でないスコア： 1

見た目の特徴を学習

飛行機
スコア：95：

学習データを⽤いてオブジェクトの特徴を学習
学習データを追加することで検索精度が向上
計算負荷軽減の仕組みを備えているため、ノートPC１台でも動作利⽤分野
デジカメ等で撮影した写真の⾃動分類
画像に映るオブジェクトに基づくキーワードの⾃動付与画像に映っているオブジェクトの類似性判定

13

2018年7月 NHK-ES

⑦ オブジェクト認識を利⽤した顔画像検索技術
⽬や⿐などの⼤まかな位置関係を考慮した画像特徴を機械学習し、その⼈物の顔が映る画像の検索ができます。

特許、ノウハウ、ソフトウエア（ソースコード開⽰の⽤意あり）

14

仕組み、特⻑、利⽤分野仕組み特⻑
「画像特徴」を機械学習し、その⼈物の顔が映る画像を検索可能
顔の向きや表情、照明条件などが変化しても検索可能認識したい⼈物を簡単に追加可能

利⽤分野
テレビ映像における特定⼈物の出演シーンの検索多くの写真の中から特定⼈物が映る写真を検索
15

2018年7月 NHK-ES

⑧ カット点検出技術
動画映像から、編集点（カット点）を⾃動検出する技術です。
映像データを編集点ごとに区切ったショット単位に分割するための基本技術です。

特許、ノウハウ、ソフトウエア（ソースコード開⽰の⽤意あり）

16

仕組み、特⻑、利⽤分野
仕組み

各検出器からのフレーム特徴量を基に制御
入力映像

カット検出器
統検出
フェード検出器
未検出

合検出結果

ディゾルブ検出器

特⻑

検出時間は、動画像の⻑さに対して 100分の1 程度
カット、フェード、ディゾルブを検出

利⽤分野
シーンごとの視聴率把握に⽤いるシーン（ショット）分割処理
録画映像からの代表サムネイル画像の⾃動抽出顔認識やオブジェクト認識などの各種映像認識における事前処理
2018年7月 NHK-ES17

⑨ CGキャラクターアニメーション制作技術
簡単な台本をパソコン上で書くだけで、CGアニメーションを制作することができます。

特許、ノウハウ、ソフトウエア（ソースコード開⽰の⽤意あり）
18

仕組み、特⻑、利⽤分野
仕組み

Windows PCで、簡単な台本をTVMLという⾔語で書くだけで、CGアニメーションを作成できる特⻑
台本の修正が簡単で、修正結果もすぐに映像で確認可能
キャラクター、スタジオセット、⼩道具などの組合せが⾃由アニメーションに合わせて、テキストや画像の表⽰、動画ファイルの再⽣が可能
⾳声合成でCGキャラクターを喋らせることも簡単に可能

利⽤分野
映像コンテンツの制作、デジタルサイネージ
19

2018年7月 NHK-ES

⑩ AR技術を適⽤したテレビシステム
タブレットのカメラを通してテレビを⾒ることで、テレビ画⾯からキャラクターが⾶び出してくるような映像体験を実現します。

特許、ノウハウ、ソフトウエア（ソースコード開⽰の⽤意あり）

20

仕組み、特⻑、利⽤分野

特⻑

テレビ（サイネージ）

仕組み

ⒸＮＨＫ
【タブレット画面の変化】【タブレットのカメラでテレビを撮影】

3次元CGを、適切なタイミングで適切な位置に表⽰可能
テレビとタブレット間のネットワークインフラが不要

利⽤分野
博物館などでの体験型展⽰や映画などでの参加型イベント
デジタルサイネージ
2018年7月 NHK-ES

21

NHK技術カタログ（技術シーズ集）
画像、音声、ＣＧ、伝送技術などを中心にNHKの移転可能な技術シーズを紹介

ネットでもご覧頂けます。

http://www.nes.or.jp/transfer/catalog/index.html（INPITの「開放特許情報DB」へリンク有）22

2018年7月 NHK-ES