Дети у него были до вашего появления и это вы выходя замуж принимали его вместе с детьми. Детей одних оставлять нельзя, отправлять к бабушкам - тоже не вариант, а вот взять няню к вам домой и звать свекровь, время от времени, жэто, может быть и выход.