Из-за того, что он оставляет семью и переходит в объятия "королевы", коей являетесь не Вы , а он-то Вам не безразличен и на данный момент Вам бы хотелось быть на месте той самой "королевы"  А как вести, смотрите сами  А как бы Вам хотелось? Чувства, кстати, во многом будут зависеть от Вашего с ним поведения и общения Если держаться "на расстоянии", ничего себе про него не придумывать и не забивать им голову, то постепенно все уляжется...