Ну вы в красках опишите, что такое семья с детьми от прошлых браков с обеих сторон. Это столько проблем, что неизвестно, куда оно все вырулит в итоге. У него, дочь, у вас дети. Бывшие супруги еще не успокоились, и долго не успокоятся. Какого возраста дети? Подростки? Тогда  все сложности на 3 умножайте. На гормональном взрыве в такой ситуации далеко не уедешь.