Так по сути отец детей прав, вы сейчас не в состоянии воспитывать собственных детей и еще долго будете не в состоянии, им сейчас удиляет внимание отец, чужой для них дядя - ваш муж и ваша мама. И отец, в таком варианте, впрае хотите, желать и даже воплотить в жизнь свою идею совместного с ними проживания. ИМХО, это и есть безболезненный выход из ситуации. Не о себе надо думать, а о детях.