Ну, понятно же все как я ясный день, вы очень четко прописали вводные.Не устраивает такой формат брака - расхОдитесь. Мирно, дружелюбно, раз общие вопросы.Не хотите совсем его потерять - перехОдите в формат  непостоянной любовницы. Предпочтительно, по его инициативе. Таким образом вы не будете жить в ситуации, которая для вас является травмирующей. Но будете его иметь время от времени.