С Вами для него в перспективе одни сложности. Вот и не желает связываться. Он Вас воспринимает не как свою девушку, а как случайную связь. Эдакий секс на один раз получается.А не звонит потому, что у Вас муж. Вдруг помешает  А Вы с ним вообще о чем говорите? Он хоть как то представляет себе, какие у Вас мотивы ложиться с ним в постель? А Вы представляете, почему он с Вами спит? Может он с ума сходит от ревности, когда Вас нет и говорит себе, что "это было в последний раз", больше не буду. А через месяц, под давлением с Вашей стороны, не выдерживает.