При чем тут мораль. Это простая психическая реакция. Некомфортно, сильно некомфортно встречаться с человеком в глазах которого ты смешон и жалок да еще и урод моральный. А жена про то, как ей нагадили и не знает вовсе, так что и дискомфорта особого нет.