Вы автор, все правильно делаете, берите младшего и уходите. Оставьте сЫначку наедине с папой. Я не Ванга, но думаю, папа привыкший иметь всегда под рукой объект для чморения и прислугу, вы уйдете с младшим , так папаня любимого сыНочка чморить начнет. А сЫночка к этому не привык, я думаю огребет от отца трындюлей и к вам прибежит. Вот тут то вы ему и поставите условия при которых вы готовы его взять к себе.  Заодно проведете беседу на тему как нехорошо маленьких обижать и как это все несправедливо. Есть шанс что старший поймет. А забудет - опять к папе отправится.