親権の変更は、親権者変更調停・審判という裁判所での手続によって行われます（当事者の合意によってはできません）。
親権者変更調停・審判では、元妻に親権を行使させることが不相当といえる程度のネグレクトにあたるか否かという点が問題となります。
そのため、ネグレクトの程度によっては、父親が親権を取り戻すことができる可能性があるといえます。