Я считаю, что отец и мать делали детей вместе и воспитывать должны вместе. Дети остались с женой, но отец то у них есть. Какое-то время жили с мамой, теперь с папой поживут. Когда вы замуж выходили, вы же знали что у него дети. Вы считали что его обязанности по воспитанию этих детей Вас не коснутся? Т.е. если у вас появятся совместные дети, при разводе они станут только ваши? Или ваши дети совместно нажиты, а дети другой женщины - это проблема другой женщины? Надо было искать мужика без прицепа... Хотя надо отдать должное мужику, раз детей не бросает- хороший мужик. Вы можете сказать, что о детях заботиться не будете и вообще никак касаться их воспитания не станете, а он возможно  найдет им няню (а может и другую мачеху заодно, которая станет мамой всем его детям). А вот запрещать ему брать своих детей в свою квартиру вы не можете (если конечно он не у вас живет- если у вас можете выставить всю компанию- ваше право). И в 38 лет жизнь еще далеко не заканчивается... Видимо молодая вы еще...