Автор, а я не очень понимаю, какие у мужа претензии, если именно  вы подержите всех? Было бы понятно его требованиe, если бы вы все у него на шее болтались. Может быть тогда все семейные траты разделить на четыре части и пусть муж вам дает деньги на себя и половину на младшего сына, а старший будет у вас на балансе?