機械学習
を最小にすればよい。
S = | | F ( x ) | | 2 ∫ p ( y ∣ x ) d y − 2 F ( x ) ⋅ ∫ y p ( y ∣ x ) d y + ∫ | | y | | 2 p ( y ∣ x ) d y = | | F ( x ) | | 2 − 2 F ( x ) ⋅ E [ y ∣ x ] + ∫ | | y | | 2 p ( y ∣ x ) d y = | | F ( x ) − E [ y ∣ x ] | | 2 − | | E [ y ∣ x ] | | 2 + ∫ | | y | | 2 p ( y ∣ x ) d y {\displaystyle {\begin{aligned}S&=||F(\mathbf {x} )||^{2}\int p(\mathbf {y} \mid \mathbf {x} )\mathrm {d} \mathbf {y} -2F(\mathbf {x} )\cdot \int \mathbf {y} p(\mathbf {y} \mid \mathbf {x} )\mathrm {d} \mathbf {y} +\int ||\mathbf {y} ||^{2}p(\mathbf {y} \mid \mathbf {x} )\mathrm {d} \mathbf {y} \\&=||F(\mathbf {x} )||^{2}-2F(\mathbf {x} )\cdot E[\mathbf {y} \mid \mathbf {x} ]+\int ||\mathbf {y} ||^{2}p(\mathbf {y} \mid \mathbf {x} )\mathrm {d} \mathbf {y} \\&=||F(\mathbf {x} )-E[\mathbf {y} \mid \mathbf {x} ]||^{2}-||E[\mathbf {y} \mid \mathbf {x} ]||^{2}+\int ||\mathbf {y} ||^{2}p(\mathbf {y} \mid \mathbf {x} )\mathrm {d} \mathbf {y} \end{aligned}}}
E ( x , y ) ∼ p , D [ − F ^ D ( x ) ⋅ y + F ^ D ( x ) ⋅ F ̄ ( x ) ] = − E ( x , y ) ∼ p [ E D [ F ^ D ( x ) ] ⋅ y + E D [ F ^ D ( x ) ] ⋅ F ̄ ( x ) = E ( x , y ) ∼ p [ − F ̄ ( x ) ⋅ y + | | F ̄ ( x ) | | 2 ] {\displaystyle {\begin{aligned}&E_{(\mathbf {x} ,\mathbf {y} )\sim p,D}[-{\hat {F}}_{D}(\mathbf {x} )\cdot \mathbf {y} +{\hat {F}}_{D}(\mathbf {x} )\cdot {\bar {F}}(\mathbf {x} )]\\&=-E_{(\mathbf {x} ,\mathbf {y} )\sim p}[E_{D}[{\hat {F}}_{D}(\mathbf {x} )]\cdot \mathbf {y} +E_{D}[{\hat {F}}_{D}(\mathbf {x} )]\cdot {\bar {F}}(\mathbf {x} )\\&=E_{(\mathbf {x} ,\mathbf {y} )\sim p}[-{\bar {F}}(\mathbf {x} )\cdot \mathbf {y} +||{\bar {F}}(\mathbf {x} )||^{2}]\end{aligned}}}
なので、
確信度を使った分類タスクに対するアルゴリズムを設計する典型的な手法は、回帰タスクのアルゴリズムを流用するというものである。すなわちクラスをone-hotベクトルで符号化した訓練データ ( x 1 , y 1 ) , ... , ( x n , y n ) {\displaystyle (\mathbf {x} _{1},\mathbf {y} _{1}),\ldots ,(\mathbf {x} _{n},\mathbf {y} _{n})} を使って回帰タスクのアルゴリズムを訓練し、訓練結果のアルゴリズムを分類タスクに利用するという手法である。ただし、回帰タスク出力 u ^ = ( u 1 ^ , ... , u k ^ ) {\displaystyle {\widehat {\mathbf {u} }}=({\widehat {u_{1}}},\ldots ,{\widehat {u_{k}}})} は、分類タスクの出力である確信度と違い、 0 ≤ u j ^ ≤ 1 {\displaystyle 0\leq {\widehat {u_{j}}}\leq 1} と u 1 ^ + ⋯ + u k ^ = 1 {\displaystyle {\widehat {u_{1}}}+\cdots +{\widehat {u_{k}}}=1} という条件を満たさないという問題が起こる。