質問: 多変数の最小二乗法 y=ax+bという形で(y,x)の組から係数a,bを推定する方法が最小二乗法かと思います。(そのような整理が妥当であるか、意味があるか、についてはデータの分布形状や変動係数などで別途検証する必要がありますがここでは不問として) さて、その次ですが、yy=ax+by+czという関数で表示しようと考えたとします。(yy,x,y,z)というデータ系列があり、係数(a,b,c)を求めるというような解析です。(前述のようにそれが妥当かどうかは不問として。)係数a,b,cを最小二乗法のようにできるだけ妥当に求める方法を教えていただきたいのですが。 1)たとえば、yy=ax+ccとして最小二乗法でaを求めたあと、残差ccについてcc=by+czとおいて再度最小二乗法でbを求めるというような手法を何度も行うとか? これだと解く順番に依存するようなので全部の順番でやって平均値を取るとか? 下手な考え休むに似たりのようですが。 2)カルマンフィルタ、ニューラルネットワークの手法で解析するということもあるでしょうか。その場合、yy=ax+by+czという枠組みではなくなりますが、それでもよいと言えばよいです。 このような問題を解く方法について解説されている本とか分野の名称(数理統計学とか?)などを教えて頂けると探索する手がかりとなります。今は手がかりすらはっきりしていないのです。 最小二乗法についてはその程度だったら専門分野ではなく、各分野で個別に解説されているようで込み入った問題になったときにどこを捜索したらよいかわからないもので質問しました。よろしくお願いします。
回答: y(i)とa*x(i)+bの差の2乗和を最小にするのがy=ax+bという形での最小二乗法ですよね。 そのためにf(a,b)=σ(y(i)-a*x(i)+b)^2のa,bに関する偏微分を計算し、 df/da=0とdf/db=0を連立させてa,bを求めるとokというものです。 yy=ax+by+czという形でもやることは同じです。 g(a,b,c)=σ(yy(i)-a*x(i)-b*y(i)-c*z(i))^2として、a,b,cに関する偏微分が0になる点を求めます。