Поговорить с ним об отношении к Вам. По-моему, если люди вместе живут - всё серьезно, значит и детей он ваших должен воспринимать хорошо (пламенно любить не обязан, но и равнодушие странно). Может он с ними гулять или в бассейн ходить и т.д.?