Вы сами выбрали такого слабака,  а теперь обижайтесь на его характер.  Почему вы думаете,что с вами он должен вести себя по-другому, чем с законной женой? С ней он ведь тоже избегает конфликтов.  Вот и вам режет хвост по частям. "Не стреляйте в пианиста,  он играет как умеет."