Я думаю, что если ваш МЧ проводит столько времени с бывшей семьей(хотя бывших детей не бывает) значит ему так надо, а вы шли на эти отношения я так понимаю зная все расклады. Так что или терпите, что вы будете делить его с кем то другим, или прекращайте отношения сейчас, так как будет гораздо хуже если потом вы начнете предьявлять претензии. Он может и находится с вами, потому что вы не посягаете на его прежнюю семью, а начнете выступать возможно расклады изменятся. Лично мое мнение, нужно говорить все сразу и не давать ложных надежд.