Проблема в том, что вы РАЗРЕШАЕТЕ себе фантазировать о женатом человеке. Один раз разрешили, второй, пятый, десятый, сто двадцать пятый - ну и понесло, и уже не остановить. Если бы сразу пресекли мысли, то не развилось бы это до такого состояния. Совершенно аморально, стыдно, глупо, да. Ну бывает. Если захотите, пресечете это, хотя бы из уважения к себе. Вы же сами понимаете, что хорошие люди этим не занимаются. Да все пройдет и очень  быстро, если забить и сказать себе «нет». Посылайте его к чертовой бабушке, как только он вам в мысли полезет.