DEIM Forum 2022 G41-2

クラウドソーシングによる形式的論証の導出木田開†

伊藤 寛祥††

松原 正樹††鈴木伸崇††

森嶋 厚行††† 筑波大学 情報学群知識情報・図書館学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †kai.kida.2021b@mlab.info, ††{ito,masaki,nsuzuki,mori}@slis.tsukuba.ac.jp
あらまし

現在，クラウドソーシングによる問題解決手法は様々な応用領域で広く活用されている．しかし，フェイ

クニュースの判定など，単純なクラウドの多数決では必ずしも正しい結果が得られないような問題も多い．本論文では，このような問題を対象に，多数のクラウドワーカの意見を集約するための手法の一つとして，形式論理を導入した手法を提案する．形式論理を導入することにより，次の様な利点があると考えられる．(1) 論理の構造を利用して問題を分割でき，クラウドで分担して問題に取り組むことが出来る．(2) 知識ベースに入っている知識などとの親和性が高く，これらと連携した問題解決が期待できる．(3) 形式論理のための理論ツールなどを活用できる．予備実験の結果，確信度付推論を用いて，単純な多数決では間違った結果になるが，本手法では正しい結果が得られるようなケースが存在することがわかった．本論文では，提案手法，予備実験の結果，今後の可能性について述べる．
キーワード クラウドソーシング, 確信度, 論証, 推論
式的論証をクラウドソーシングで行う事は可能か？(RQ2) 形

1 はじめに
現在，クラウドソーシングによる問題解決手法は，災害支
援 [1] や，医療支援 [2] など様々な応用領域で広く活用されている．
しかし，インターネット上におけるフェイクニュースの判定など，クラウドの多数決では必ずしも正しい結果が得られない
ような問題も多い．Dawid-Skene [3] 等の手法も提案されているが，これらの集約手法は全て，正しくない回答は回答者間で一致せず，正しい回答は一致するという仮定に基づいて設計されており，多くの回答者が誤った回答をする状況では有効ではないことが知られている．
本論文では，このような問題を対象に，多数のクラウドワー
カの意見を集約するための手法の一つとして，形式論理を用いた論証を導出する手法を提案する．論証とは，根拠に基づき筋道をたてて結論を導き出す過程である．十分に検証された論証
は知識を生み出す強力なツールであり，ケプラーによる地動説の論証など，しばしば直感と異なるが正しい結論を知るために式的論証を行う適切なタスクデザインは何か？本論文では，特に RQ1 に焦点をあて，予備的な実験を行った結果を報告する．
具体的には，まず，クラウドソーシングを用いて形式的論証の収集，集約を行うワークフローデザインを導入する．次に手に入った形式的論証に対し，確信度付き推論を導入し，体系的な評価を行う．
実験では，ワーカに写真を見せて「朝方撮影された写真であるか否か」というクラウドソーシングによる単純な多数決では
上手くいかない問題に対し，本手法を利用することで正しい推論の結果が得られるようなケースが存在することを確認した．
なお，本論文の貢献は，以下の通りである．(1) クラウドソー
シングを用いて，形式的論証の導出が可能であることを示唆した．(2) 確信度付推論の推論規則を導入し，収集した論証に対し，適切な評価をすることができることを実験的に示唆した．

2 関連研究2. 1 クラウドソーシングによる証拠の発見

有効である．形式論理は論証のための数学的枠組みであり，形Nadeesha ら [5] は，クラウドソーシングによる証拠の収集，

式論理を用いた論証は形式的論証と呼ばれる．形式的論証のた評価方法について提案し，クラウドソーシングを用いた証拠のめには多くの理論的ツールが存在し，計算機による自動論証な発見が有用であることを示した．提案手法は，収集フェーズとどの研究 [4] がこれまで数多く行われてきた．

評価フェーズの 2 つのフェーズからなる．依頼者が，ある主張

クラウドソーシングによる命題の真偽判定について，形式論を提示し，ワーカはそれに対する根拠をインターネット等を用

理の枠組みを導入することにより，次の様な利点があると考えいて情報検索を行い，根拠を回答する．それらの根拠を複数のられる．(1) 論理の構造を利用して問題を分割でき，クラウド

クラスタに分け，再度クラウドソーシングを用いて，クラスタ

で分担して問題に取り組むことが出来る．(2) 知識ベースに入っ

内の各証拠について 5 段階で評価を行う．評価の高い結果は，ている知識などのとの親和性が高く，これらと連携した問題解より根拠のある証拠であることが示されている．

決が期待できる．(3) 形式論理のための理論ツールなどを活用できる．
本研究のリサーチクエスチョンは次の通りである．(RQ1) 形

Nadeesha らの研究は，自然記述で収集している為，部分的に有意義な情報があったとしても，全体の評価が低い場合にその情報は活用されないといった問題がある．そこで，本研究は，

形式論理を導入することで，上記の問題の解決を測る．

3. 2 推 論 規 則

Arkaitz ら [6] は，インターネット上の噂の真偽を判定するた

前提部分 X とルール R に対しての確信度の値を元に，導く

めに，SNS から噂に関する文章を抽出し，新しいアノテーショ

結論部分 Y に対する確信度を求め，それらが伝播することでンスキームの提案とクラウドソーシングを用いたアノテーショ

最終的な結論に対する確信度を求めることができる．確信度のンを行った．しかし，URL を用いた証拠が記載されているか伝播の処理について以下の 3 つの処理について述べる．

等の単純なアノテーションをするのみで，ワーカから真偽の根拠となる情報の収集は行っていない．

Poppola ら [7] は、自然災害時の情報検証のための Web アプ
リケーションを開発した。このアプリケーションは，ワーカに

単純論証の導入
単一の前提条件を持つ，単純論証「X ⇒ Y 」の場合，確信度 CF(Y,{X}) は次式で定義される．

イベントの写真のアップロードという特定のタイプの証拠を提出するよう求めている．

CF (Y, {X}) = CF (X) ∗ CF (R)(1)

これらの研究は，単純な証拠の提供や証拠に対する単純多数
決，アノテーションを行い評価をしている．それに対し，本研
究では，証拠を収集した上で，それらを論証の形で集約，評価を行うアプローチをとる．

Sethi [8] は，フェイクニュースやオルタナティブ・ファクト

結合論証の導入
前提部が論理積のみから成り立っている場合 (X1 ∧ X2... ⇒Y ) 全ての前提部が成り立つことではじめて結論が導かれる為，
CF(Y) は次式で定義される．

を検証するために，群衆が証拠を入力するシステムを提案している．このシステムは，グラフ理論的なフレームワークに基づいている．主張や根拠，情報源の集合を 1 つのノードとみなし，グラフのエッジに重みを導入している．しかし，具体的な手法
や実験結果は示されていない．

2. 2 確信度を用いた推論システム
E.H.Shortliﬀe ら [9] によって，医療診断の為のエキスパート
システムが開発された．MYCIN は，複数の規則からなる知識
ベースであり，患者から得たデータを元に，どの細菌がどの程度原因として考えられるのか，それぞれに対し，確信度が算出

CF (Y ，{X1 , X2 , . . .}) = CF (min(Xi )) ∗ CF (R)(2)

また，前提部が論理和のみから成り立っている場合 (X1 ∧X2... ⇒ Y ) いずれかの前提部が成り立つことではじめて結論が導かれる為，CF(Y) は次式で定義される．

CF (Y ，{X1 , X2 , . . .}) = CF (max(Xi )) ∗ CF (R)(3)

論理積と論理和の両方で構成されている場合は，上記の組み合わせで導くことができる．
合流論証の導入

される．

複数のルールから同様の結論が導かれる場合，(「X1 ⇒ Y 1」,
本研究では，MYCIN で用いられた確信度付推論に基づき， 「X2 ⇒ Y 1」) 前者の確信度を CF , 後者を CF とすると，両1
2
クラウドソーシングで得られた論証に対し，確信度の付与，計者の合成確信度は CFは次式で定義される．
COM B

算を行う．MYCIN は，専門家がルールや確信度を定義した上









で，患者からの情報を用いて推論を行うのに対し，本研究では，
仮説のみを提示し，クラウドソーシングを用いて仮説に対する推論を行うようなワークフローデザインの開発を目的として

CFCOM B (CF1 , CF2 ) =いる．

3 確信度付推論
本節では，提案手法にて用いる確信度付推論の概要について述べる．

3. 1 確信度の定義
薦田は，「確信度 (certainty factor:CF) とは，ルールや事実の確からしさを定義する為の尺度である．
」と定義している [10].








CF1 + CF2 ∗ (1 − CF1 )(4.1)
CF1 + CF2
(4.2)
1 − min(|CF1 |, |CF2 |)CF1 + CF2 ∗ (1 + CF1 )(4.3)

同一の結論に結論に達している場合 (CF の正負が一致している) は，式 (4.1), 式 (4.3) で表されるように確信度が高い値
を総合的な値として導かれる. 一方，相反する結論に達している場合 (CF の正負が一致していない) は，式 (4.2) で表される
ように両者を相殺する形で合成確信度として導かれる．

4 提案手法

ルール R = (X ⇒ Y ) が与えられた時，「X が真であるなら提案手法は，論証収集フェーズ，集約フェーズ，確信度付与

ば，Y を導くことができると信じる度合」を R の確信度とし，フェーズの 3 つのフェーズ (図 1) からなり，それぞれのフェー

CF (R) と表す．また，前提部分 X に対しても同様に，「X が真ズにおいてクラウドソーシングを用いたタスクの発行を行う。

であると信じる度合」を X の確信度とし，CF (X) と表す．確依頼者は，入力として 1 つ以上の仮説 H を与える．最終的に，信度は，-1 から 1 までの実数値で表され，正の確信度は，肯定それぞれの仮説を導く形式的論証と論証を構成する命題の確信的な信念，負の確信度は．否定的な信念を表す．絶対値が大き度の出力を目的としている．表 1 に本論文で用いる記号の定義

い程，より強い信念を表す．

を記述する．

図1

表1

提案手法の全体像

記号の表記

記号

記号の説明

H = {h1 . . . hi }(i >= 1)

提示する仮説の集合

R (x, h)IF x THEN h を表すルール

b(x), b(r)x, r を導く根拠

S(x), S(r) = {b1 . . . bj }x, r を導く根拠の集合

CF (x, S(x)), CF (r, S(r)) S を根拠にした x,r の確信度

4. 1 論証収集フェーズ
論証収集フェーズでは，入力として 1 つ以上の仮説 H を与え，ワーカ 1 人ごとに支持する仮説 h とそれを導く 1 つ以上の根拠 b を出力することを目的とする．具体的な流れは，以下の通りである．依頼者は，1 つ以上の仮説 H を提示する．ワーカ
は，インターネット等を用いた情報収集を行い，最終的に支持する仮説を一つ決定し，その仮説を導く形式的論証と論証を構成する命題を導く根拠を回答する．具体的なタスクデザインを
図 2 に示す．

4. 2 集約フェーズ
集約フェーズでは，論証収集フェーズで得られた命題 X の中で同様の内容を示すものを集約することを目的とする．まず，機械による簡易的なクラスタリングを行いクラウドのタスクを簡易化した後，クラウドソーシングタスクを通して集約をする．

図2

論証収集フェーズのタスクデザイン : ワーカは，写真について
インターネット等を用いて情報を収集した後，タスクのインタラ
クションに従い仮説を導く命題 x とそれに関する根拠 b(x),b(r)を回答する

具体的には，得られた各命題 X を TF-IDF 法を用いた単語の重み付けを行い，cos 類似度を用いて各命題間の類似度を計算

スタリング結果を 3 つクラウドソーシングによるタスク図 (3)し，得られた類似度からクラスタリングを行う．得られたクラを通して，命題を集約する．

図3

集約フェーズにおける 3 つのタスクデザイン

4. 3 確信度付与フェーズ
確信度付与フェーズでは，X ，R それぞれに確信度を割り当てるタスクを行う。ワーカは，確信度を割り当てる際，支持する根拠の集合 (X に確信度を付与する際は，それに対応する根拠の集合 S(X)) を参照した後，確信度を割り当てるタスクを行う．確信度が割り当てられた結果，確信度付推論の推論規則に従って計算を行うことで，最終的にそれぞれの仮説 H に対する確信度を求めることが可能である．

5 実

験

本実験では，朝焼けの写真 (図 4) 1 を題材として，写真は朝撮
影されたものであるか，夕方撮影されたものであるかという問

図4

朝焼けの写真題に対して提案手法を適用した．下記の写真を利用した理由としては，人が直感的に判断することが困難な写真であるからでして，「写真は朝撮られたものである」という仮説 (以下，h1)ある．予備実験の結果，「写真は夕方撮影されたものである」とを導く論証を 23 件，「写真は夕方撮られたものである」といういう誤った解答をしたワーカが 67%(100 人中 67 人) を占めた．

仮説 (以下，h2) を導く論証を 7 件収集した．

また，写真を構成する要素が花や霧など複数存在し，様々な種

下記に実際に得られた論証の例を示す．

類の論証を収集できると考えられるからである．

(例 1)

実験は，Lancers と Yahoo!クラウドソーシング 2 つのクラ

論証：
「太陽の方角が東である．
」なので朝である．

ウドソーシングプラットフォームを用いて，不特定多数のワー

Q：なぜ「太陽の方角が東である」ならば朝であるのか？

カに依頼し, オンライン上で実施した.

A：太陽は東から上り西へ沈むため

5. 1 論証収集フェーズ
論証収集フェーズでは，30 人のワーカを対象にタスクを行った．なお，クラウドソーシングプラットフォームには Lancers
を利用し，ワーカには，1 つのタスクに対して 110 円の報酬が与えられた。
調査前の正解率は 50%(30 人中 15 人) であったのに対し，調査後の正解率は 77%(30 人中 23 人) であった．タスク全体を通Q：「太陽の方角が東である」に関する情報
A：写真の場所は小貝川ふれあい公園のポピー畑から見た筑波山で、見えている太陽より西側に位置する。

(例 2)
論証：
「夕焼けは、比較的眩しさが少なく、濃い赤色．
」なので夕方である．

Q：なぜ「比較的眩しさが少なく、濃い赤色」ならば朝であるのか？

A：太陽が地平線近くに移動し、日中は地表に届いていた赤1：https://www.photo-ac.com/main/detail/2510715,2022 年 2 月 12 日
時点

い光が、夕方には上空で散乱するため。日中、温まった空気により上昇気流が発生し、空気中の水蒸気やチリによって光が散

5. 3 確信度付与フェーズ

乱するので、朝焼けよりも夕焼けは眩しさは少なくぼんやりとしていて、鮮やかな赤色になる。＜ URL 省略＞

確信度付与フェーズでは，20 人のワーカを対象にタスクを行った．なお，クラウドソーシングプラットフォームには Yahoo!

Q：「比較的眩しさが少なく、濃い赤色」に関する情報

クラウドソーシングを利用し，ワーカーには，1 つのタスクに

A：青い部分がなく、ぼんやりとしたオレンジ、赤系の色を対して 30 円の報酬が与えられた。1 人ワーカにつき，8 件同様した空だし、眩しさがない。

のタスクを行うことで，X ，R それぞれ 10 人からの確信度を(例 1) は，方角から朝であることを導く論証である．回答は，得る．ワーカは，対応する根拠の集合 (X1 の確信度を割り当て

写真を撮影した場所，撮影の対象の方角について記述している

る際，S(X1) の根拠）を参照した上で，「絶対に間違っている」

が，データの記載はされていない．

「ほぼ確実に間違っている」「多分間違っている」「間違ってい(例 2) は，太陽の状態，色から夕方であることを導く論証でるかもしれない」「分からない」「正しいかもしれない」「多分ある．回答は，夕焼けの光が「比較的眩しさが少なく，濃い赤

正しい」「ほぼ確実に正しい」「確実に正しい」という 7 つの選色」になる理由と出典を示している．この場合，写真が「比較択肢から選択する．薦田の確信度の値の解釈表 [10](表 2) を元

的眩しさが少なく，濃い赤色」であるか否かという元の命題のに，-1 から 1 の範囲で確信度を付与する．
「分からない」と回答

真偽が重要な論証であると考えられる．

したワーカの確信度には，0 を割り当てた．
それぞれの X，R に対して，5 人のワーカから確信度が得ら

5. 2 集約フェーズ
集約フェーズにて用いるデータの前処理として，論証収集
フェーズによって得られた命題 X のクラスタリングを行う. 各
命題間の cos 類似度を用いて出力したデンドログラムを表 5 に記載する．

れた．5 つの値の平均値を最終的な確信度とした．収集した確
信度を，推論規則に則り，h1,h2 の確信度を計算した結果，h1：

0.71, h2：-0.0047 という結果となった．つまり，h1:「写真は朝撮影されたものである」という仮説に対して「ほぼ確実に正しい」〜「多分正しい」，h2:「写真は夕方撮影されたものである」という仮説に対して「分からない」という結果が導かれた．
図 6 に，確信度を記載した論証モデルを記載する．

図5

各命題間の cos 類似度を用いて出力したデンドログラム

出力されたデンドログラムを用い，閾値を 0.6 として非類似度を 0.6 以下とした命題を同じクラスタに分類した．

図6

クラスタリングを行った後，図 3 の 3 つのタスクデザインに確信度を付与した論証モデル：それぞれの X,R の下部に確信度の値が書かれている．また，X と R を結ぶ矢印は，R(X,H) に対する確信度の値が書かれている．

従い，クラウドソーシングを用いた命題 X の集約を行う．
なお，クラウドソーシングプラットフォームには Yahoo!クラウドソーシングを利用した．タスクに割り当てられた人数は，タスクの分量に応じてそれぞれ 10 人，15 人，25 人のワーカに割り当てられた．
各タスクにおいて，同様の問題に対し 5 人のワーカが回答を行い，多数決により過半数の判断が得られた回答を最終的な結果とした．また，複数の命題を 1 つの命題に集約する際は，「最も回答の文字数が多いもの」を回答の集約結果として用いた．
表 2 に 実 際 に 付 与 し た ラ ベ ル ，表 3, 表 4 に 根 拠 の 集 合S(x),S(r) に含まれる要素数 (根拠 b の数) を記載する．

議論
付与された確信度を見ると，R(x3, h1)(ポピー畑の東に筑波山がある．なので朝である．) の確信度が 0.55 と「たぶん正しい」〜「正しいかもしれない」という意味を表す値を示していることが分かる．しかし，この確信度はという本質的に「東向きに撮った太陽は朝焼けであるか否か」という質問を意味する
為，本来高い確信度を示すものであると考えられる，
このように確信度が高い値を示していない理由として，「前提
条件が真である場合に，導かれる結論はどの程度正しいか」という条件を理解することがワーカにとって困難であることが考

表2

表3

ラベル付された前提部分：X の内容

前提部分：X

内容

x1

霞のような霧がかかっている

x2

筑波山の方から太陽が昇っている状態を撮影したダイヤモンド筑波山という写真がある

x3

ポピー畑の東に筑波山がある

x4

オレンジ色に染まっている度合いが薄いx5

写真中央の山は筑波山

x6

夕焼けがオレンジ色x7

ポピーが咲いているx8

風景が明け方S(X) の要素数

表4

S(R) の要素数的論証を確信度付推論を用いた定量的な評価を行うことが可能

X

要素数

R

要素数

である．このことから，本手法はクラウドソーシングを用いて

x1

4

R(x1, h1)3

形式的論証を導出することに対し，有用であると考えられる．

x2

10

R(x2, h1)7(RQ2) 形式的論証を行う適切なタスクデザインは何か？といx3

4

R(x3, h1)

3

x4

1

R(x4, h1)

1

x5

1

R(x5, h1)

1

x6

4

R(x6, h2)

4

x7

2

R(x7, h2)2

最後に提案手法の今後の可能性について述べる．本手法で得1られた結果を用いて，さらに以下の 3 つのアプローチをとるこ

x8

1

R(x8, h2)

うリサーチクエスチョンに対し，いくつかの検討を行った．集
約フェーズではタスクのインタラクションを変更することで，確信度の値に差が生じることが分かった．

とで，本手法をより良いものにすることが可能であると考えら
表5

確信度の値の解釈

確信度の値

解釈
絶対に…でない (deﬁnitely not)-1

-0.8 ほぼ確実にに…でない (almost certainly not)
-0.6

たぶん…でもない (probably not)

-0.4

…でないかもしれない (maybe not)れる．

(1) 同様の命題（予備実験であれば，他の写真に対して夕方撮影されたか否かの判定を行う) に対して得られた結果再利用することができる．R 部の確信度は，そのまま再利用することができ，また，新たな論証を収集する際のヒントとして論証図を示すことができる．

-0.2 〜 0.2

分からない (unknown)

0.4…かもしれない (maybe)(2) 再帰的に質問を投げることが可能である．確信度が 0 に

0.6

たぶん…(probably)

近い回答に対して，再帰的にクラウドソーシングを用いて根拠

0.8

ほぼ確実に…(almost certainly)1

絶対に…(deﬁnitely)を収集することで，より詳細な推論結果が得られる．

(3) 一階述語論理の導入が可能であると考えられる．例えば，予備実験によって得られた命題「x7：空が赤い」に対して確信えられる．

度を付与する際，「空の赤さ」には量的な評価を行うことが可能

このような問題を解消する方法としては，タスクのインタラ
クション改善，事前に同様のタスクを用いてトレーニングを行うといったことが考えられる．

である．その為，一階述語論理を導入することによって，クラウドの判断に左右されない確信度の付与が可能となる．
今後，(1)〜(3) のアプローチを実現する為，具体的なクラウ
ドソーシングのワークフローを提案する必要がある．

6 考察

予備実験の結果，クラウドの単なる投票では判定が困難な問題に対し，正しい仮説 (h1:「写真は朝撮影されたものである」）

7 おわりに
本論文では，(RQ1) 形式的論証をクラウドソーシングで行うに対しては，「多分正しい」〜「ほぼ確実に正しい」，間違った事は可能か？(RQ2) 形式的論証を行う適切なタスクデザインは仮説 (h2:「写真は夕方撮影されたものである」）に対しては，何か？という 2 つのリサーチクエスチョンに対して，確信度付「分からない」という推論結果を得ることができた．また，そ推論を導入したクラウドソーシングのワークフローデザインをれぞれの仮説を導く論証と各命題に対して複数の根拠が得られ提案し，予備実験を行った．

た為，写真が朝か夕方かを判断する際に説明として用いることが可能である．

予備実験の結果，RQ1 に対し，提案手法が有頭であることことを示した．RQ2 に対し，適切なタスクデザインについて提案(RQ1) 形式的論証をクラウドソーシングで行う事は可能か？

手法を用いた検討を行った．最適なタスクデザインを選択するというリサーチクエスチョンに対して，提案手法を用いることには，予備実験で得られた知見を元に，評価基準を明確にし，で，ワーカの回答が複数の形式論証に集約され，命題に対してさらに様々なタスクデザインを検討していく必要がある．

複数の根拠が提示される形になっている．さらに得られた形式

謝

辞

本研究の一部は，JST CREST JPMJCR16E3 および JSPS
科研費 JP21H03552 の助成を受けたものである．ここに謝意を
示す．

文

献

[1] Stuart E. Middleton, Lee Middleton, and Stefano Modafferi. Real-time crisis mapping of natural disasters usingsocial media. IEEE Intelligent Systems, Vol. 29, No. 2, pp.
9–17, 2014.
[2] Max H. Sims, Jeﬀrey Bigham, Henry Kautz, and Marc W.
Halterman. Crowdsourcing medical expertise in near realtime. Journal of Hospital Medicine, Vol. 9, No. 7, pp. 451–
456, 2014.
[3] Alexander Philip Dawid and Allan M Skene. Maximum
likelihood estimation of observer error-rates using the em
algorithm. Journal of the Royal Statistical Society: Series
C (Applied Statistics), Vol. 28, No. 1, pp. 20–28, 1979.
[4] Patrick Cousot, Radhia Cousot, Manuel Fähndrich, andFrancesco Logozzo. Automatic inference of necessary preconditions. In Roberto Giacobazzi, Josh Berdine, and Isabella Mastroeni, editors, Veriﬁcation, Model Checking,and Abstract Interpretation, pp. 128–148, Berlin, Heidelberg, 2013. Springer Berlin Heidelberg.
[5] Nadeesha Wijerathna, Masaki Matsubara, and Atsuyuki
Morishima. Finding evidences by crowdsourcing. In 2018
IEEE International Conference on Big Data (Big Data),
pp. 3560–3563, 2018.
[6] Arkaitz Zubiaga, Maria Liakata, Rob Procter, Kalina
Bontcheva, and Peter Tolmie. Crowdsourcing the annotation of rumourous conversations in social media. In Proceedings of the 24th International Conference on World Wide
Web, WWW ’15 Companion, p. 347–353, New York, NY,
USA, 2015. Association for Computing Machinery.
[7] Abdulfatai Popoola, Dmytro Krasnoshtan, Attila-Peter
Toth, Victor Naroditskiy, Carlos Castillo, Patrick Meier,and Iyad Rahwan. Information veriﬁcation during natural disasters. In Proceedings of the 22nd International
Conference on World Wide Web, WWW ’13 Companion,
p. 1029–1032, New York, NY, USA, 2013. Association for
Computing Machinery.
[8] Ricky J. Sethi. Crowdsourcing the veriﬁcation of fake news
and alternative facts. In Proceedings of the 28th ACM Conference on Hypertext and Social Media, HT ’17, p. 315–316,
New York, NY, USA, 2017. Association for Computing Machinery.
[9] Edward H. Shortliﬀe and Bruce G. Buchanan. A model of
inexact reasoning in medicine. Mathematical Biosciences,Vol. 23, No. 3, pp. 351–379, 1975.
[10] 安信千津子薦田憲久. エキスパートシステムの設計と開発. 情報系教科書シリーズ. 昭晃堂, 1997.