Человеку с вами плохо, потому что вы слишком для него хороши. И люди вокруг вас, и сам он прекрасно осознают, ху из ху. Следующим этапом ждите появления любовницы, а далее обвинения, что и в этом виноваты исключительно вы. Нельзя жить НЕ своей жизнью, поэтому у вас дискомфорт, безусловно, проще свалить все на "гадкого, плохого мужа", но на самом деле вы создали такую ситуацию и кроме вас ее расхлебывать некому.