DEIM2022 A34-4

絵本読み聞かせ場面の認識および発達順序体系を用いた発達段階推定
Estimation of the Developmental Stage based on
the Recognition of the Scene of Picture Book Reading
and Order of Developmental Stages
笠松 美歩†

宇津呂武仁†

齋藤有††

石川由美子†††† 筑波大学大学院 システム情報工学研究科 知能機能システム専攻〒 305-8573 茨城県つくば市天王台 1-1-1†† 聖徳大学 児童学部 〒 271-8555 千葉県松戸市岩瀬 550††† 宇都宮大学 共同教育学部 〒 321-8505 栃木県宇都宮市峰町 350
あらまし

発達心理学において，子どもは一定の順序で段階的に発達するとされている．本論文では，読み聞かせ中の子どもの反応を含めた 発達順序体系を構築し，絵本読み聞かせという短時間の活動に対する観察から発達段階を推定する枠組みを提案する． さらに，絵本読み聞かせ場面の映像観察に要する時間を短縮するために，画像認識により要観察時点を推定する方式を導入し、その有用性の評価結果を示す．
キーワード 絵本, 認知発達的反応, 発達段階, 映像認識
日常生活における子どもの発達との間には順序性があることが1 はじめに発達心理学において，子どもは一定の順序に従って段階的に発達し，その段階に応じた様々な反応を示すとされている．そのため，各子どもの発達がどの段階にあるかという情報は，発達心理学研究において非常に大きな意義を持っている．子ども
は月齢に従って発達するが，その速度には個人差があるため，
子どもの月齢のみで発達段階を決定することはできず，子どもの発達段階を知るためには，各個人に対して発達段階の診断を行う必要がある．この診断の方法としては，専門家が実際に子どもを 30∼60 分程度観察する方法や，養育者や保育者が 100 以
上の項目を含む質問紙に回答し，それを分析する方法等がある
が，これらの実施には日常生活から離れた長時間の活動が必要であり，養育者・保育者および研究者にとって大きな負担となるため，容易に実施することができない．それに対して本論文は，こうした発達診断にかかる労力と時間を削減するために，
日常生活の中で広く行われ，所要時間が短く，子どもの認知発
達的反応を観察可能な場面である絵本の読み聞かせと，子どもの発達順序体系を用いて発達段階を推定する手法を提案する．
絵本の読み聞かせとは，養育者・保育者等が子どもに対して
絵本を音読して聞かせる活動であり，家庭や保育現場における日常生活の中で広く行われ，その一回当たりの所要時間は一般示されている [2]．そこで本論文ではまず，絵本に関する子どもの反応と，日常生活における子どもの反応の両方を含んだ子どもの発達順序体系を構築する．この体系の構築においては，絵本に関する反応と，それ以外の日常生活における反応について，各反応を子どもが示すかどうかを質問する質問紙調査を行うことで，各反応を子どもが示すようになる月齢を調査し，それらを月齢順に並べることにより，子どもが各反応を示すようになる順序を示した．次に本論文では，絵本読み聞かせ場面を収録した映像を分析し，そこに出現した反応を子どもが示すようになる月齢と，作成した発達順序体系とを対応付けることで，3人の子どもに対して発達段階の推定を行った．この分析においては，映像中の指さしを自動検出することによる要観察時点の推定を行い，推定された場面の反応への観察のみを用いた発達段階の推定と，映像中に出現する全ての反応についての観察を用いた発達段階の推定を行った．その結果，いずれの手法においても，子どもが発達順序体系中の反応を示しているかどうかを高い精度で推定することができた．これにより，本論文の提案手法が子どもの発達段階の推定に対して有用であることを示すことができた．

2 子どもの発達順序体系

的に数分程度である．この活動では，読み手から子どもへの絵

2. 1 既存の発達順序体系

本内容の伝達が行われるだけでなく，読み手と子どもとの間に

2. 1. 1 石川 [2] の体系

内容に関する対話や質問等の相互作用が生じ，その中で子ども

石川 [2] は，子どもの日常生活における発達と，絵本読み聞

は指さしやページをめくる等の様々な認知発達的反応を示す．

かせにおける発達との間には一定の順序性があることを明らか

発達心理学においては，これらの絵本に関する子どもの発達と，にした．石川 [2] では，0∼74 か月の子どもを持つ 858 名の保護

有無に応じ，タイプ A(0 歳 1 か月 ∼0 歳 11 か月児用．117 項

X歳の子どもN=100人に対する調査結果

目．)，タイプ B(1 歳 0 か月 ∼2 歳 1l か月児用．142 項目．)，タ

発達順序

反応P 反応Q 子どもの人数ある/ ある/a=30
あった あった
ある/ ない
b=60
あった
ない
ある/
c=0
あった
ない
ない
d=10

イプ C(3 歳 0 か月 ∼6 歳 11 か月児用 (就学児を除く)．133 項

先

後

反応P

反応Q

目．)，タイプ T(0 歳 1 か月〜 6 歳 1l か月児用 (発達遅滞傾向
プの質問紙に対して，養育者・保護者等の日常的に対象児を観反応Qが出現する時は，必ず反応Pが出現している

察している者が回答する．この質問紙においては，各質問項目の反応を子どもが示すことができるかどうかを，「〇 (できる)」，

図 1 Ordering Analysis [1] の概略

人の顔を見て声を出す

014

ぐるぐる回しを喜ぶ
044

絵本を舐めたり噛んだりする

人見知りをする

標準化されており，0 歳 1 か月 ∼6 歳 11 か月の幼児が，各月齢005

においてどのような項目を通過するかが示されている．KIDS

指した方をみる

127
ページを飛ばしても平気

じっと目で追う

001

035

037

「× (できない)」の 2 段階で回答する．KIDS で使用される質問
紙は，全国 38 都道府県の 6,090 名の幼児に対する調査によって泣いても抱き上げると泣き止む

視線が合う

133

128

077

ページを
めくろうとする

好きな場面を繰り返しみる130

大人に本を読めとせがむ131

物語や文のない具体物の載った絵本を好む

135

日常の生活を描いている
絵本を好む

絵本を見つけると
手を延ばす

125

129

の質問紙には，各タイプごとに，子どもができると回答された項目の数と，発達段階とを対応づけるための表が用意されており，テスト実施者は，質問紙の回答とこの表とを照らし合わせることによって各子どもの発達段階を診断する．KIDS は，専126

人に似た絵に興味

絵本に書かれた具体的なものに対して指差したりして答える児向き)．282 項目．) が用意されており，対象児に適したタイ

身近にあるものを絵の中に見つけると喜ぶ

門家による長時間の子どもの観察が不要であるという点で，比較的実施が容易な診断法であると言えるが，各タイプにおける質問項目数はいずれも 100 以上であり，乳幼児の養育者・保育者がこうした質問紙に回答するのは負担が大きい．

140

141

繰り返しのある絵本を好む

2. 2 2020-2021 年度調査をふまえた発達順序体系
136

137

138

絵本で子どもの知っているものを見つけると名前を言おうとする

絵本で大人が命名するとまねる

081「・・・は誰のもの」と聞くと答える

069

おしっこのあと教える

2. 1. 1 節，2. 1. 2 節で示したように，発達心理学分野においては，子どもの発達順序についての体系が存在する．しかし，これらの体系が作成されてから 2021 年現在までの間に，20 年以

図 2 石川 [2] における発達項目およびその順序性 (抜粋)(下線・太字は絵本関連項目)上が経過しているため，社会的な変化等の影響により，子どもの発達の順序体系にも変化が生じている可能性がある．また，
これらの発達順序体系は子どもの発達段階を全て網羅しているとはいえず，さらにこれらの発達順序体系同士の関連も不明で者に対して質問紙調査を実施し，0∼74 か月の子どもが，98 のある．そこで本論文では，石川 [2] および KIDS の発達順序体

項目 (日常生活関連 75 項目，絵本関連 23 項目) を通過する順系における項目と，独自に作成した項目を用いて，2020 年から序を調査している．この質問紙調査は，各質問項目を子どもが2021 年にかけて 0∼41 か月の子どもを持つ母親 1,672 人に対し示すかどうかを「ある」，「あった」，「ない」の 3 段階で回答すて質問紙調査を実施し，新たな発達順序体系を構築した．このる形式をとっており，回答が「ある」または「あった」である

調査においては，石川 [2] で順序性が認められた全 98 項目と，場合に，子どもがその項目を通過していると定義している．そKIDS 中の手指の動きの発達に関連する 64 項目に加えて，「指してこの回答に対して，Ordering Analysis [1] の手法を適用し，さし」と「ページをめくる」という 2 つの反応を細分化するこ

各項目間の順序を判定している．この手法によって，項目 P ととで独自に作成した 32 項目を用いた．なお，この調査におけ項目 Q の 2 項目の順序を判定する方法の概略を図 1 に示す．まる質問紙は石川 [2] における質問紙の形式に準じ，各項目ごと

た，石川 [2] における子どもの発達の順序性を示すグラフの抜に，「(その項目の反応を示すことが現在) ある」，「(その項目の反粋を，図 2 に示す．なお，この図中において，下線太字になっ応を示したことがかつて) あった」，「(その項目の反応を示したているものが絵本関連項目，それ以外が日常関連項目である．

ことが) ない」の 3 段階で回答する形式とした．

このグラフから，絵本に関する項目は，それ自身で独立したも調査で用いた全項目について，通過月齢を調査し，それらをのではなく，日常生活における発達と関連を持ちながら通過さ

通過月齢の昇順で並べた結果を表 1，表 2 に示す．これらの表れるものであることがわかる．なお，石川 [2] においては，子における項目 ID は，各項目の出典とそこでの番号を表しておどもが各項目を通過する順序は示されているが，子どもが各項

り，I から始まるものは石川 [2] で扱われた項目，K から始まる

目を通過する月齢は示されていない．

ものは KIDS において扱われた項目であり，N から始まるもの

2. 1. 2 KIDS 乳幼児発達スケール [5]は本論文において新規に作成された項目である．また，通過月

KIDS 乳幼児発達スケール [5] は，1989 年の調査に基づいて齢の判定においては KIDS における通過月齢の決定手法を参考

標準化された，子どもの発達段階を診断するための質問紙形式にし，通過率が 60%以上となる月齢が 6 か月以上続くか，41 かのテストである．このテストには，月齢および発達遅延傾向の月まで連続して通過率が 60%以上となる月齢の範囲の中で最小表 2 2020-2021 年度調査をふまえた発達順序体系 (抜粋) (2)

表 1 2020-2021 年度調査をふまえた発達順序体系 (抜粋) (1)通過項目

各通過月齢の項目 (日常関連項目は一部抜粋)

月齢数

項目 ID 領域

項目 (絵本関連は太字．絵本の指さし関連は太字下

通過

項目

各通過月齢の項目 (日常関連項目は一部抜粋)

月齢数

項目 ID 領域

19

4

I137

VII 絵本I140

VII 絵本

線．)

線．)

0

20

I35

III やりとり 両親が話しかけたとき，視線が合う

2

KA2-9

2．操作

両手を触れ合わせたり，からめたりする．

3

3

KA1-9

1．運動

うつぶせにした時，両腕で胸や頭を持ち上げること

5

2
1

N2
N3

日常の指さ

手を開いたままで，興味をもった遠くにある物に向しかって手を伸ばす．

日常の指さ欲しい物や行きたいところが遠くにあって手を伸ばししたり，指さしたりした時，欲求がすぐにかなえられないと泣くなどして不満を示したり，催促したりしたり，答えたりできる．

I138

VII 絵本6

I127

VII 絵本

絵本を持たせると，かどを舐めたり噛んだりする．

I128

VII 絵本自分でページをめくろうとする．

I125

VII 絵本手の届かない所に絵本を見つけると手をのばしたり，のものの名前を言おうとする．

20

1

I70

IV 伝達行動 「きれいね」「おいしいね」などという表現ができる．

21

1

I136

VII 絵本べるなど) を好む．

22

8

N22
N23

りする．
絵本を読んでいるとき，ページをとばしても全然平
気で見ている．

7

9

KA2-13 2．操作

紙を引っぱってやぶる．(読んでいる新聞など)

8

3

KA2-18 2．操作落ちている小さな物をひろう．

9

5

N4

ページをめ

まだうまくページをめくれないが，絵本の読み聞かくるせをしている時，子どもが自分でページをめくろう
とする．

N5

ページをめ

絵本の中身を見ているのではなく，ただページをめくる

くるのを楽しんでいる様子ででたらめにページをめ

11
12

6
5
18

日常の指さ

はっきりと何かを指さしているわけではないが、手しを指さしの形にしていることがある。

日常の指さ手を指さしの形にして，興味をもった遠くにある物

しに向かって手を伸ばす．

I126

VII 絵本人の顔ににた形や表情のある絵に興味を示す．

N11

絵本の指さ

絵本中の絵を指さし，その時に「あ，あ」などの意

し味のない声を出す．

絵本の指さ

明確に何を指さしているかわからないが，絵本に指しさしをする．

VII 絵本

大人のところに本を持ってきて，しきりに読めとせ

N7
N10

N12
I131

3

VII 絵本

絵本の指さ

絵本の絵の中の物を指さして，指さした物の名前を

し

言う．

絵本の指さ

絵本に描かれている具体的なものにたいして，大人

しが「ボールどこ」「ラジオどれ」等と聞くと，絵を

N25

絵本の指さ

絵本の絵の中の物を指さして，指さした物についてし説明する．(例：泣いている顔を指さして「泣いて
など．)

24

9

I145

VII 絵本3I54

ことができる．

I134
25

3

N28

ページをめ

子どもが自分で絵本のページをちゃんとめくることくるができ，とばすと気づいてもとに戻ることができる．

絵本の指さ

絵本の中の絵を含む複数の物を同時に指さしたり，し順番に指さしたりする．(花を指さした後別の花を指さす，人形の目，手，足などの一部を順に指さす，「これが大きい」などと言いながら指さす，コップとポットなど関連のあるものを順に指さすなど．)

26

7

I139

VII 絵本ね」と言ったようなことを言う．

N29
I142

繰り返しのある絵と文で構成される絵本を好む (例

絵本の指さ

絵本にでてくる物を指さして「それは，何?」などしと自分から質問することができる．

VII 絵本

単純な繰り返しの文のある絵本でも (例えば，いいチョッキだねちょっと着せてよ・・・ちょっときついが似合うかなーの繰り返しなど)，大人が最初のページの部分を絵を見せながら読むと，次に来る場面がて，目的のものを指さしたり，催促したりする (「マわかり，一緒に言ったり，笑ったりできる．

ンマ」と言って食事の催促をしたりするなど)．

1

KA2-26 2．操作

15

12

N13

読み聞かせの際に，子どもが自分のペースで読んでくる

もらいたくてページをめくろうとする．(早く次の場
面を読んでほしくて読み終わらないうちに次のページをめくろうとするなど．)

ページをめ

絵本に描かれた興味のあるものを探すために絵本のくる

ページをめくろうとする．

I129

VII 絵本身近にあるものを絵の中に見つけると喜ぶ．

N16

絵本の指さ

子どもが絵本の絵の中の見慣れているものを指さしした時，大人がそれに反応すると喜ぶ．

VII 絵本お気に入りの絵や場面がきまりその場面だけを繰り

N15

16

8

I130

返し見る．

I135

VII 絵本I147

積み木を 2 つ積み重ねる．

ページをめ

物語や文がほとんどなく，子供が毎日見ているような日常の具体的なもの (テレビ，ラジオ，洗濯機，掃除機，果物，食べ物，三輪車，自転車，ボールなど)

2

KB3-9

3．理解言語 指定した本を 1 冊持ってくる．

18

5

I47

III やりとり 大人の言った単語をそのまままねて繰り返す．
行動

VII 絵本

単純な繰り返しの文のある絵本で，大人が最初の場
面を読んでから，「次どうなるんだっけー」等の質問をすると，それに対して答えることができる．

28

2

KB1-16 1．運動

鉄棒にぶらさがれる．

29

2

KB2-14 2．操作

物をハンカチや新聞紙に包んで遊ぶ．

30

3

KB2-16 2．操作

砂場で山を作る．

31

2

I143

VII 絵本I146

VII 絵本

絵本を大人に読んでもらっているとき，次の場面を先取りして説明したりすることがある．
絵本の文中にでてくる知らないことばに対して「それは，何?」などと質問したりできる．

33

1

I105

VI 遊び

36

1

KC2-6

2．操作

鉛筆やクレヨンで丸を描くことができ，ときに丸の

372

KB2-23 2．操作

38

1

I144

VII 絵本39

6

I31

II 興味・関心 時計を見て何時か興味を持つ．

40

5

I100

VI 遊び

まる，三角などの形を描く．

42 以 19

I149

VII 絵本

絵本に描かれている文字を意識し，ひろい読みを自中に目や口らしいものをつける．
クレヨンで色を使い分けて絵を描く．
折り紙を半分に折ることができる．
かなり長い文章のある物語絵本でも，内容を楽しむことができる．

が載っているような絵本を好む．

17

日常の生活を描いている絵本を見て，自分の生活に照らし合せ「これはパパが好き」「これはきれいだ

IV 伝達行動 自分の要求するものや欲しいものがはっきりしてき14

日常的なもの身近なものが絵本の対象となっていな
くても (冒険物語，想像的な絵本) 興味をもって見る

えば，イナイイナイ・・・バアの本など)．

13

絵本中の絵を指さし，意味のある言葉を話す．

る」と言う，犬を指さして「ワンワンいた」と言う

がむ．

I141

絵本の指さ

指さして答えることができる．

23

くる．

10

N18

し

させたり「アーアー」「ウーウ」などと声をだした

VII 絵本

子供が毎日，うちで体験しているような日常の生活を描いている絵本 (お着替え，お風呂，ごはんを食

色彩のはっきりした絵に目を留めて手足をばたばた

I133

日常の具体的なものなどが描かれている絵本のなかに子供のしっているものを見つけると，自分からそする．

6

絵本に描かれている具体的なものにたいして，大人が「ボールどこ」「ラジオどれ」等と聞くと，指差

ができる．

4

絵本を見て大人が絵の中のものの名前を命名すると，それをまねて言おうとする．

行動

2

項目 (絵本関連は太字．絵本の指さし関連は太字下

上分から始める．

の月齢 X を項目 T の通過月齢とした．

定する．この自動検出においては，YOLOv5 3 の COCO 2017

なお，KIDS で扱われた項目について，本論文の調査およびデータセット [4] による事前学習済みモデルをファインチュー

KIDS における通過月齢を比較したところ，本論文の調査におニングしたものを使用した．このファインチューニングでは，

ける通過月齢が，KIDS における通過月齢よりも 3 か月以上早訓練データとして STAIR Actions データセット [7] を用いた．

くなった項目が 13 項目 ，3 か月以上遅くなった項目が 10 項

STAIR Actions は，人が日常的な動作を行っている 5 秒間程度

目 2 存在した．また，石川 [2] で扱われた項目については，絵本の短い動画を収集したデータセットであり，本論文では，このに対する興味に関する項目の順序が早くなる傾向があり，0∼23

中の “pointing with ﬁnger” カテゴリの各動画から 1 秒ごとに 1か月を対象とする絵本関連項目 14 項目中，9 項目で順序が早く

枚の静止画を抽出し，それらの静止画のうち，指さしが含まれなっていた (詳細については文献 [3] を参照)．

ていた静止画 471 枚を訓練データとした．ファインチューニン

1

この体系を用いることで，子どもが各項目を通過する順序とグにおいては，各静止画に対して指さしが含まれている矩形範

月齢を知ることができるため，この体系中の子どもの反応 T が囲の座標の情報を付与するアノテーションを行い，各静止画を観察されたとき，その子どもは反応 T よりも通過月齢が低い反

入力した時，その静止画中に存在する指さしを含む矩形範囲の応は通過しており，T よりも通過月齢が高い反応は未通過であ座標が出力されるように訓練した．なお，訓練データ中の画像ると推定することが可能になる．

は，1 枚の画像単位で見ると，必ず指さしが含まれる画像 (正例) であるが，画像中には指さし以外の形の手や手以外の物体

3 映像自動認識による要観察時点の推定などが含まれており，画像中の物体単位で見ると，そうした指
さし以外の物体が負例となってファインチューニングに用いられている． このファインチューニングによるモデルを用いて，訓練データ中の画像 (クリエイティブコモンズの YouTube 動画
から抽出した静止画) に対して指さしの検出を行った結果の例を図 3 に示す．

3. 2 画像データセット
本論文では，3 組の母子が絵本読み聞かせを行った場面を映像に収録し，そこから静止画を抽出することで，画像データセットを構築した．3 組の母子における子どもの月齢は，32 か
図 3 STAIR Actions データセット [7] 中の画像 (ファインチューニング

月 (ID1)，26 か月 (ID2)，22 か月 (ID3) であり，絵本の読み手用訓練データ．クリエイティブコモンズの YouTube 動画から抽はいずれも母親で，読み聞かせは家庭において行われた．各被出した静止画．) に対する指さし検出結果例

験者の映像データの秒数は，ID1 が 805 秒，ID2 が 276 秒，ID3
が 2463 秒であり，読み聞かせの回数は ID1 が 6 回，ID2 が 1

3. 1 YOLO [6]本論文では，物体検出モデルである YOLO [6] を用いて，絵本読み聞かせ場面における指さしの自動検出を行い，映像中の
要観察時点の推定を行う．絵本読み聞かせの映像データの分析において，指さしは非常に重要な意義を持ち，観察が必須となる反応である．そこで，本論文においては，映像データから静止画を抽出し，それらの静止画中に指さしが含まれるかどうかを自動的に検出することで，指さしが含まれる静止画が抽出された時刻を特定し，その時刻を映像中の要観察時点であると推回，ID3 が 10 回であった．なお，ID3 の映像データには，読み聞かせ場面以外の映像 (玩具で遊ぶ場面や絵本を本棚から持ってくる場面など) が 1354 秒含まれていたため，人手で観察する
ことによりこれらの場面を分析対象から除外し，読み聞かせ場
面 1109 秒を抽出した．ID1，ID2 の映像データには，絵本読み聞かせ場面のみが収録されていたため，全ての場面の映像デー
タを分析対象とした．本論文ではこれらの映像データから，1秒間に 1 枚の静止画を抽出することで，画像データセットを作成した．これによって得られた静止画枚数は 2214 枚 (ID1: 817
枚，ID2: 278 枚，ID3: 1119 枚) であった．なお，静止画は 0 秒
時点から 1 秒ごとに 1 枚抽出し，また抽出範囲の終端として映

1：「手に握らせた物を持ち上げようとするとしっかり握って離さない」，「授乳時に母親の服などを引っぱる」，「コップなどを両手で掴んで口に持っていく」，「自像ファイルの終了時を指定した場合，映像の終了時の静止画も分で自分の口もとをふこうとする」，「自動販売機のボタンなどを押したがる」，

抽出した．そのため，読み聞かせ 1 回ごとに 1 映像ファイルに「積み木を 3 つ積み重ねる」，「指定した本を 1 冊持ってくる」，「鉛筆で短いなが分かれていた ID1，ID2 のデータにおいては，読み聞かせ場面

らも直線を引く」,「転がって動いているボールを捕まえることができる」，「クレの秒数に読み聞かせ回数の 2 倍を加えた静止画枚数が抽出されヨンで色を使い分けて絵を描く」，「人などを描く」，「脱いだ後，服をたためる」，「自動車、花など思ったものを絵にする (それらしく見えればよい)」が該当した．

ている．また，読み聞かせ場面が映像ファイルの途中に収録さ2：「あおむけでミルクびんを自分で持って飲む」，「自動車などを手で走らせてれていた ID3 のデータにおいては読み聞かせ場面の秒数に読み遊ぶ」，「鉄棒にぶらさがれる」，「友達と手をつなげる」，「物をハンカチや新聞紙

聞かせ回数を加えた静止画枚数が抽出されている．

に包んで遊ぶ」，「服のスナップを自分ではずす」，「砂場で山を作る」，「折り紙を半分に折ることができる」，「ハサミを使って紙を切る」，「砂場で水を使って池を作る」が該当した．

3：https://github.com/ultralytics/yolov5

表 3 指さし自動認識結果 (静止画枚数単位)
人手による映像観察結果

ID1

ID2

指さしあり 指さしなし

YOLO
による

指さしなし

合計

23

-

23

75

-

75

60

-

60

158

-

158

5

121

126

8

72

80

9

108

117

22

301

323

指さしなし

13

174

186

25

98

123

51

526

577

89

797

886

合計

41

295

335

108

170

278

120

634

754

269

1098 1367

指さしあり

1 箇所以上指

指さしあり

指さしなし

合計

指さしあり

指さしなし 合計

指さしあり

さしを検出

指さし

指さし以外を検出結検出

果

3 被験者全体ID3

合計

再現率 (指さしあり)[%]Iod /Io

68.3

76.9

57.5

66.9

(23 + 5)/41(75 + 8)/108(60 + 9)/120(158 + 22)/269

適合率 (指さしあり)[%]Iod /Id

18.8

53.6

39.0

37.4

(23 + 5)/(23 + 126)

(75 + 8)/(75 + 80)(60 + 9)/(60 + 117)

(158 + 22)/(158 + 323)

誤検出率 (指さしあり)[%]1 − (Iod /Id )

81.2

46.5

61.0

62.6

1 − {(23 + 5)/(23 + 126)}

1 − {(75 + 8)/(75 + 80)}

1 − {(60 + 9)/(60 + 117)}

1 − {(158 + 22)/(158 + 323)}

正答率 (指さしあり・なし)[%](Iod + Inond )/Ia

60.0

65.1

78.9

71.5

{(23 + 5) + 173}/335{(75 + 8) + 98}/278{(60 + 9) + 526}/754{(158 + 22) + 797}/1367

表 4 指さし場面自動認識結果 (秒数単位)
人手による映像観察結果

ID1

ID2

要観察場面 要観察場面

合計

要観察場面

以外

YOLO によ 要観察場面
る指さし検

要観察場面以外

出結果

合計

再現率 (要観察場面)[%]S oe /S o
適合率 (要観察場面)[%]S oe /S e
誤検出率 (要観察場面)[%]

1 − (S oe /S e )正答率 (要観察場面・それ以外の場面)[%](S oe + S none )/S a

3. 3 評3 被験者全体

ID3

要観察場面

合計

要観察場面

以外

要観察場面

合計

要観察場面

以外

要観察場面

合計

以外

122

176

298

174

96

270

247

233

480

543

505 1048

7

24

31

1

5

6

61

208

269

69

237

129

200

329

175

101

276

308

441

749

612

742 1354

306

94.6

99.4

80.2

88.7

122/129

174/175

247/308

543/612

40.9

64.4

51.5

51.8

122/298

174/270

247/480

543/1048

59.1

35.6

48.5

48.2

1 − (122/298)

1 − (175/270)

1 − (247/480)

1 − (544/1048)

44.4

64.9

60.7

57.6

(122 + 24)/329(174 + 5)/276(247 + 208)/749(543 + 237)/1354

価3. 2 節で収集した映像データのうち，指さしが 1 回しか出現しなかった ID1 の読み聞かせ 3 回分と，指さしが 2 回以下しか出現しなかった ID3 の読み聞かせ 4 回分，ピントが合っていな
かった ID3 の読み聞かせ 1 回分の静止画を除外し，読み聞かせ

9 回分 (ID1: 3 回，ID2: 1 回，ID3: 5 回)，1367 枚 (ID1: 335 枚，
ID2: 278 枚，ID3: 754 枚) の静止画を指さし検出対象データとして選定した．これらの静止画に対して， 指さしの検出を行っあり)，正答率 (指さしあり・なし) を定義する．

Iod
Io
Iod
適合率 (指さしあり) =Id
再現率 (指さしあり) =Iod
Id
Iod + Inond
正答率 (指さしあり・なし) =Ia
誤検出率 (指さしあり) = 1 −た結果を，表 3 に示す．この評価においては，指さしが含まれこの結果としては，ID1，ID2 においては再現率が 70%以上とる静止画に対して，1 つ以上指さしが検出されれば，実際にはなっており，3 被験者全体でも再現率は 67.2%となっているこ

指さし以外のものが指さしとして検出されていても，その静止とから，指さしを漏れなく検出するという視点からは，一定以画を指さしが検出された静止画とした．これは，本論文におけ上の成果が出ていると言える．一方で，適合率は 3 被験者全体る目的が，指さし場面として観察すべき時刻を推定することでで 40%未満，最も高い ID2 でも 53.6%と低く，誤検出率が高い．

あり，他の物を指さしとして検出した結果であったとしても，

この誤検出においては，ページをめくる際の手のような，指さ指さしが出現した時刻を要観察時点として推定できていれば目し以外の形の手が指さしとして検出されている場合が多い．こ的は果たされるためである．また，この評価においては，実際うした誤検出が起きた理由としては，本論文においてファインに指さしが観察される静止画枚数を Io ，YOLO によって指さしチューニングに用いた訓練データ数が少なく，またそれらの訓が検出された静止画枚数を Id ，実際に指さしが観察され，かつ練データは絵本読み聞かせに関するものではないことに加え，YOLO によって指さしが検出された静止画枚数を Iod ，実際に指さしが映っている画像のみを訓練データとして用いているた

指さしが観察されず，YOLO によって指さしが検出されなかっめ，誤検出が多い画像である，「絵本・指・手が含まれているが，た静止画枚数を Inond ，全静止画枚数を Ia とおき，次のように指さしは含まれていない画像」が訓練データ中に存在しなかっ

再現率 (指さしあり)，適合率 (指さしあり)，誤検出率 (指さしたために，指さしの手の形と絵本読み聞かせ場面で出現する他の手の形が十分に識別できていないということが考えられる．

こうした誤検出を減らす方策として，3. 1 節のファインチューている．ただし，秒数単位での評価においては，依然として全

ニングにおいて，誤検出が多い画像である，「絵本・指・手が含体の再現率は 80%弱と高く，この時に要観察場面から除外されまれているが，指さしは含まれていない画像」も併用したファ

た秒数は 3. 3 節における評価結果よりも 170 秒以上増加しておインチューニングを行うことが挙げられる．この際の訓練デー

り，これは絵本読み聞かせ場面 1 回分の所要時間の平均を上回

タとしては，3. 2 節で収集した画像データ中の，指さしが含まる秒数である．このことから，訓練データに被験者データを正れない画像を用いることが可能である．

例および負例データとして追加することは，適合率の向上およ

また，これらの結果を踏まえて，指さしが検出された静止画

び観察時間の短縮にある程度貢献できると考えられる．その一の前後 2 秒間を要観察場面として推定した場合の検出率につい方で，本節では指さし検出精度の飛躍的な向上には至らなかっても評価した．この評価においては，実際に指さしが観察された．この理由としては，訓練データ数が全体として少なく，特た静止画の前後 2 秒間を要観察場面の正解 (正解場面) とし，そに絵本読み聞かせ場面における指さしのデータが少ないために，れらの正解と推定結果とを比較することによって評価を行った．

訓練データに被験者データを加えても，絵本場面における他の正解場面の秒数を S o ，推定された要観察場面の秒数を S e ，要形の手と指さしとを十分に識別するには至らなかったというこ

観察場面と推定された正解場面の秒数を S oe ，正解場面ではなとが考えられる．これに関する方策としては，さらに多くの被く，要観察場面と推定されなかった秒数を S none ，全秒数を S a

験者実験を行いデータを収集するなどして，訓練データ数を増とおき，次のように再現率 (要観察場面)，適合率 (要観察場面)，

やすことが挙げられる．

誤検出率 (要観察場面)，正答率 (要観察場面・それ以外の場面)を定義し，評価結果を表 4 に示す．

S oe
So
S oe
適合率 (要観察場面) =Se

再現率 (要観察場面) =S oe
誤検出率 (要観察場面) = 1 −Se
S oe + S none
正答率 (要観察場面・それ以外の場面) =Sa
この結果としては，再現率は ID1，ID2 で 90%以上，全体でも88.7%となっており，この推定によって観察から漏れる指さしは少ない．一方で，適合率は 3 被験者全体で 50%程度と低く，指さしが含まれない場面 500 秒以上を要観察場面として推定している．しかし，この推定によって要観察場面とされた秒数の合計は実際の映像データの秒数の合計よりも約 300 秒少ない．
対象データにおける 1 回あたりの絵本読み聞かせの所要時間の平均は 150.8 秒であることを鑑みると，この推定によって，読み聞かせ約 2 回分の時間を観察することなく，9 回の絵本読み聞かせに出現する指さしのうち，90%近くを観察することができており，本論文における提案手法は，観察時間の短縮に一定以上の効果的があると言える．

3. 4 被験者データを追加したファインチューニングと評価
本節では，訓練データとして 3. 2 節で収集した画像データ中

4 発達順序体系と絵本読み聞かせ映像観察による発達段階推定4. 1 映像手動認識後の場合
本節では，3. 2 節において画像データセットを収集した 3 人の子どもに対して，絵本読み聞かせの全場面に対する観察と，

2. 2 節で作成した発達順序体系を用いて，次の手順で発達段階の推定を行う．
手順 1．

絵本読み聞かせ場面の全時刻を人手で観察し，絵本

関連項目 (表 1，表 2 中で太字で示した項目) に該当する反応が出現するかどうかを判定する．
手順 2．

手順 1 で出現した項目のうち，最も通過月齢が高い

項目 T 1 の通過月齢を MT 1 とおく．
手順 3．

通過月齢が MT 1 以下の項目は全て通過しており，通過月齢が MT 1 よりも高い項目は全て未通過であると推定する．

3. 2 節の画像データセットの映像撮影依頼時においては，各
子どもの母親に対して，発達順序体系の構築の際に用いた子どもの発達段階についての質問紙への回答を依頼した．本節では，それらの回答と本節における発達段階推定結果を比較すること
で，推定結果の評価を行った．なお，この質問紙調査においては，被験者の負担を考慮し，石川 [2] における項目のうち，各被験者の月齢に適した項目と，本論文で独自に作成した「指さし」・「ページをめくる」に関する全項目のみ (ID1，ID2 は合計の静止画を追加し，3. 1 節と同様のファインチューニングを行

70 項目，ID3 は合計 102 項目) を用いたため，評価においてもい，そのモデルに対して 3. 3 節と同様の評価を行った．ここでこれらの項目についてのみ実施した．ID1 の T 1 は「I144: かな

は，評価データから除外した 8 回分の読み聞かせ (ID1: 3 回，り長い文章のある物語絵本でも、内容を楽しむことができる」

ID3: 5 回) の静止画から，正例として指さしが含まれる全てのであり， MT 1 = 38 であったため，ID1 に対する質問紙中の 70

静止画全 18 枚 (ID1: 3 枚，ID3: 15 枚) と，負例として指さし項目のうち，通過月齢が 38 か月以下である 56 項目を通過済とが含まれない場面から無作為に抽出した静止画 5 枚 (ID1: 2 枚，推定した．ID2 については，T 1 は「N29: 絵本にでてくる物を

ID3: 3 枚) を訓練データに追加し，ファインチューニングを行っ指さして「それは，何?」などと自分から質問することができた．このモデルに対して，3. 3 節と同様の評価を行った結果を，る」であったため， MT 1 = 26 で，ID2 に対する質問紙中の 70

表 5 および表 6 に示す．3. 3 節における評価結果と比較すると，項目のうち，通過月齢が 26 か月以下である 51 項目を通過済

静止画枚数単位，秒数単位いずれの評価においても，全体としと推定した．また，ID3 の T 1 は，
「I34: 子どもが自分で絵本のて適合率がわずかに向上しているが，再現率は全体的に低下しページをちゃんとめくることができ，とばすと気づいてもとに表 5 被験者データを訓練データに追加しファインチューニングしたモデルにおける指さし自動認識結果 (静止画枚数単位)
人手による映像観察結果

ID1

ID2

指さしあり 指さしなし

YOLO
による

指さしなし

合計

19

-

19

74

-

74

46

-

46

139

-

139

9

102

111

9

63

72

3

71

74

21

236

257

指さしなし

13

192

205

25

107

132

71

563

634

109

862

971

合計

41

294

335

108

170

278

120

634

754

269

1098 1367

1 箇所以上指

指さしあり

指さしあり

指さしなし

合計

指さしあり

指さしなし 合計

指さしあり

さしを検出

指さし

指さし以外を検出結検出

果

3 被験者全体ID3

合計

再現率 (指さしあり)[%]Iod /Io

68.3

76.9

40.8

59.5

(19 + 9)/41(74 + 9)/108(46 + 3)/120(139 + 21)/269

適合率 (指さしあり)[%]Iod /Id

21.5

56.8

40.8

40.4

(19 + 9)/(19 + 111)

(74 + 9)/(74 + 72)(46 + 3)/(46 + 74)(139 + 21)/(139 + 257)

誤検出率 (指さしあり)[%]1 − (Iod /Id )

81.2

46.5

61.0

62.6

1 − (19 + 9)/(19 + 111)

1 − (74 + 9)/(74 + 72)

1 − (46 + 3)/(46 + 74)

1 − (139 + 21)/(139 + 257)

正答率 (指さしあり・なし)[%](Iod + Inond )/Ia

60.3

65.1

78.9

71.5

{(19 + 9) + 192}/335{(74 + 9) + 107}/278{(46 + 3) + 563}/754{(139 + 21) + 862}/1367

表 6 被験者データを訓練データに追加しファインチューニングしたモデルにおける指さし場面
自動認識結果 (秒数単位)
人手による映像観察結果

ID1

ID2

要観察場面 要観察場面

合計

要観察場面

以外

3 被験者全体

ID3

要観察場面

合計

要観察場面

以外

要観察場面

合計

要観察場面

以外

要観察場面

合計

以外

YOLO によ 要観察場面

114

136

250

174

83

257

181

185

366

469

404

873

る指さし検

要観察場面以外

15

64

79

1

18

19

127

256

383

143

338

481

出結果

合計

129

200

329

175

101

276

308

441

749

612

742 1354

再現率 (要観察場面)[%]S oe /S o

88.4

99.4

58.8

76.6

114/129

174/175

181/308

469/612

適合率 (要観察場面)[%]S oe /S e

45.6

67.7

49.5

53.7

114/250

174/257

181/366

469/873

誤検出率 (要観察場面)[%]

1 − (S oe /S e )

54.4

32.3

50.5

46.3

1 − 114/250

1 − 174/257

1 − 181/366

1 − 469/873

正答率 (要観察場面・それ以外の場面)[%](S oe + S none )/S a

54.1

69.6

58.3

59.6

(114 + 64)/329(174 + 18)/276(181 + 256)/749(469 + 338)/1354とおき，再現率 (通過項目)，適合率 (通過項目)，正答率 (通過・

表 7 映像手動認識後の通過項目推定結果

未通過項目) を次のように定義する．

質問紙回答結果

ID1(生後 32 か月)
通過
通過

ID2(生後 26 か月)

未通過

合計

通過

ID3(生後 22 か月)

未通過 合計 通過

未通過

合計

観察

10

0

10

5

0

5

17

0

17

推定

45

1

46

45

1

46

80

1

81

映像か

未通過

0

14

14

12

7

19

1

3

4

らの推

合計

55

15

70

62

8

70

98

4

102

定結果

再現率 (通過

100.0

80.6

99.0

(10 + 45)/55(5 + 45)/62(17 + 80)/98

98.2

98.0

99.0

(10 + 45)/(10 + 46)(5 + 45)/(5 + 46)(17 + 80)/(17 + 81)

98.6

81.4

98.0

{(10 + 45) + 14}/70{(5 + 45) + 7}/70{(17 + 80) + 3}/102

項目)[%]

Pqe /Pq
適合率 (通過

正 答 率 (通過・未通過項てしまう誤りは，実際に被験者が通過している項目の通過月齢が MT 1 よりも高い時，つまり被験者が実際に通過している最も目)[%](Pqe +Uqe )/T a

これらの評価結果を表 7 に示す．この評価において，質問紙回答においては通過となっている項目を，未通過であると推定し項目)[%]

Pqe /Pe

Pqe
Pq
Pqe(適合率 (通過項目)) =Pe
Pqe + Uqe
(正答率 (通過・未通過項目)) =Ta(再現率 (通過項目)) =通過月齢の高い項目を，映像では観察できなかった時に生じる．
この誤りは，子どもが発達順序体系に従った発達をしている場戻ることができる」で，MT 1 = 24 だったため，ID3 に対する質合にも生じる誤りである．一方で，質問紙回答においては未通

問紙中の 102 項目のうち，通過月齢が 24 か月以下となる 98 項

過となっている項目を通過していると推定してしまう誤りは，目を通過済と推定した． この評価においては，質問紙において映像で観察された反応よりも通過月齢が低い項目を被験者が通通過と回答された項目数を Pq ，映像から通過と推定された項目

過していない場合に生じる．この誤りは，被験者が発達順序体

数を Pe ．質問紙の回答においても映像からの推定においても系に従った発達をしていない場合に起こる誤りであり，被験者通過となった項目数を Pqe ，質問紙の回答においても映像からの個性に起因するものであると考えられる．この評価結果におの推定においても未通過となった項目数を Uqe ，全項目数を T a

いて， いずれの被験者においても，適合率は 90%以上であり，

再現率および正答率についても，ID1，ID3 については 90%以となり，本節における推定結果と，4. 1 節の推定結果は同一の

上，ID2 でも 80%以上と，十分高い精度で推定ができている．

結果となった．また，ID3 の T 2 は，
「N25: 絵本の絵の中の物を

この推定において，ID2 の読み聞かせ回数は他の 2 人に比べ指さして，指さした物について説明する．(例: 泣いている顔をて顕著に少なく，ID1 が 6 回，ID3 が 10 回に対して ID2 は 1

指さして「泣いてる」と言う，犬を指さして「ワンワンいた」

回であるため，ID2 において実際に観察された項目の反応種類と言うなど．)」で， MT 2 = 23 であった．これは MT 1 よりも 1

数は，ID1 の半分，ID3 の 3 分の 1 以下となっている．そのたか月低く，このことにより，本節における推定結果では，通過め，ID2 の再現率・正答率は 80%程度にとどまっており，他の済と推定された項目が 4. 1 節の推定結果より 6 項目減少し，そ2 被験者と比較すると 20%弱低い．しかし，それでも精度の低の結果再現率が 6.1%，正答率が 5.8%低下した．

下はその程度にとどまっていることから， 数分程度の読み聞か

本節における指さし場面のみに対する観察を用いた発達段階

せ場面 1 回分に対する観察でも一定以上の精度で推定が可能で推定では，全場面の観察を用いた発達段階推定に比べて，再現あることが示された．

率・正答率の低下がみられた．しかし，低下は数%にとどまっており，本節における推定結果においても，全ての被験者に対表 8 映像自動認識後の通過項目推定結果

する再現率・正答率は依然として 80%以上であることから，指さし場面のみの観察でも，十分な精度で発達段階の推定を行う

質問紙回答結果

ID1(生後 32 か月)
通過
通過

観察

5

推定

ID2(生後 26 か月)
通過

ID3(生後 22 か月)

未通過

合計

未通過

合計

0

5

3

未通過 合計 通過

0

3

4

0

4
88

46

0

46

47

1

48

87

1

映像か

未通過

4

15

19

12

7

19

7

3

10

らの推

合計

55

15

70

62

8

70

98

4

102

定結果

再現率 (通過

92.7

80.6

92.9

項目)[%]

Pqe /Pq
適合率 (通過(5 + 46)/55(3 + 47)/62(4 + 87)/98

100.0

98.0

98.9

(5 + 46)/(5 + 46)(3 + 47)/(3 + 48)(4 + 87)/(4 + 88)

94.3

81.4

92.2

{(5 + 46) + 15}/70{(3 + 47) + 7}/70{(4 + 87) + 3}/102

項目)[%]

Pqe /Pe
正 答 率 (通過・未通過項

5 おわりに
本論文では，絵本に関する子どもの反応を含んだ発達順序体系を構築し，その体系と絵本読み聞かせ場面を収録した映像に対する観察とを用いて，子どもの発達段階を推定する手法を提案した．映像に対する観察においては，指さし場面の自動検出を行うことによる要観察時点の推定を行い，これによって推定された時点の観察と，映像全体の観察それぞれを用いた発達段目)[%](Pqe +Uqe )/T a

ことができていると考えられる．

階の推定を行った．どちらの手法においても，高い精度で推定を行うことができ，提案手法が子どもの発達段階の推定に有用

4. 2 映像自動認識後の場合
次に本節では，4. 1 節で発達段階の推定を行った 3 人の子どもに対して，3. 3 節において要観察場面として推定された場面に含まれる指さしのみに対する観察と，2. 2 節で作成した発達
順序体系を用いて，次の手順で発達段階の推定を行う．
手順 1．

要観察場面として推定された場面の映像を人手で観

察する．
手順 2．

各指さしが，絵本の指さし項目 (表 1，表 2 中で下線太字で示した項目) のどの項目に該当するかを判定する．
手順 3．

手順 2 で子どもの反応として該当すると判定された項目のうち，最も通過月齢が高い項目 T 2 の通過月齢を MT 2 と
おく．
手順 4．

通過月齢が MT 2 以下の項目は全て通過しており，通過月齢が MT 2 よりも高い項目は全て未通過であると推定する．
本節でも 4. 1 節と同様に，各被験者の質問紙への回答と本節における発達段階推定結果を比較した．その結果を表 8 に示す．ID1 の T 2 は「N29: 絵本にでてくる物を指さして「それは，何?」などと自分から質問することができる」であったため，

MT 2 = 26 となり，これは MT 1 よりも 12 か月低い．そのため，本節における推定結果では，通過済と推定された項目が 4. 1 節の推定結果より 5 項目減少し，その結果再現率が 7.3%，正答率が 4.3%低下した．一方，ID2 については，T 2 は T 1 と同じ「N29: 絵本にでてくる物を指さして「それは，何?」などと自分から質問することができる」であった．そのため， MT 2 = MT 1であることを示すことができた．
謝辞
本研究は科研費 19K22858，19J20384 の助成を受けたもので
ある．
文

献

[1] P. W. Airasian and W. M. Bart. Ordering theory: A new and usefulmeasurement model. Educational Technology, Vol. 13, No. 5, pp.
56–60, 1973.
[2] 石川由美子, 前川久男. 絵本理解とその発達順序性: 発達援助としての絵本利用の基礎研究. 心身障害学研究, Vol. 20, pp. 83–91,
1996.
[3] 笠松美歩, 宇津呂武仁, 齋藤有, 石川由美子. 絵本に関する発達項
目の発達順序性: 1996 年・2020 年の比較分析. 第 35 回人工知能学会全国大会論文集, 2021.
[4] T. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan,
P. Dollár, and C. L. Zitnick. Microsoft COCO: Common objects incontext. In Proc. 13th ECCV, pp. 740–755, 2014.
[5] 三宅和夫, 大村政男, 山内茂, 高嶋正士, 橋本泰子. KIDS 乳幼児発
達スケール. 発達科学研究教育センター, 1991.
[6] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi. You only lookonce: Uniﬁed, real-time object detection. In Proc. 29th CVPR, pp.
779–788, 2016.
[7] Yuya Yoshikawa, Jiaqing Lin, and Akikazu Takeuchi. Stair actions: A video dataset of everyday home actions. arXiv preprint
arXiv:1804.04326, 2018.