Мне кажется как-то неправильно у Вас поделены дети на своих и чужих. Не по-семейному это как-то что ли... Мне судить сложно, у меня нет каких-то иных детей кроме своих, но мне кажется, что все проблемы именно отсюда. Потому что у Вас есть: я и мои дети, он и его ребенок, я и он - а семьи нет.