Расскажу на своем примере. Когда рассталась с любовником, по своей инициативе, то довольно долго е время мы действительно просто общались,звонили друг другу часто. Потому что нас связывали дружеские близкие отношения в том числе.  И он стремился меня вернуть, не верил что правда все. Но для вас это повод подумать, что муж то тянется к ней, а не к вам. Да еще и орет на вас, когда вы это обнаруживаете. Как вы это терпите? ИМХО, но какие тут хорошие отношения могут быть?