вы изложили абсолютно трезвую мысль. Отпустите уже эту ситуацию  с отцом. Примите его таким, какой он есть. Хотя наверняка вы его таким приняли уже давно.Если этой квартире ничего не угрожает, пусть он живёт с кем хочет. Вашей маме там достаточно вашей любви. Не трепите себе нервы. Сами же сказали: Берегите себя ради своих детей.