Вот он и хочет жить в СЕМЬЕ.  Со СВОИМИ детьми.  А в ущерб семье - всегда получиться, если есть уже дети, алименты на них отнимают деньги новой семьи, отец с ними общается, так что так или иначе - ущерб.  А тут такая ситуация, почитай, безвыходная.