Мужчина попался не ахти. Любишь, так люби, нет, так отойди. А бояться жены, жить оглядываясь, это не осторожность. Это Вы ему были не нужны. Потому и до секса не дошло. Не причинять боли жене и отчаянно трусить -  разные вещи. Ну а то, что он нелестно отзывался о жене вообще его не красит, и на Вас тень бросает.