Может, детей оставить у бабушки с дедушкой, но нанять им няню? Опеку оформить на себя. И папа детей пусть подключается. Хотя бы материально, и привезти-увезти к врачу и т.д. Или другой возможный компромисс. Но не отворачиваться от малышей.