質問: w1*身長 + w2*年齢 + w3*歌のうまさ」という式があった時に体重をうまく説明していない要素の「歌のうまさ」の係数w3を小さくし影響度を小さくすることで、w3とw1、w2の係数に差をつけることで体重をよりうまく説明しようとする、ということでしょうか?
回答: 概ねその理解で問題ないと思います。 補足 目的変数が外れ値を含むか否か、係数にスパース性を仮定するべきかどうか、などで使用するloss関数や正則化項を適切に選択する必要があります。