А он хотел, судя по всему. И жил бы в гареме, только  ваши условия (жить без любовницы) ему не подошли. Что теперь делать? Здесь нет Вашей вины, вы с ним разные люди с несовместимыми взглядами. Ничего, он пообвыкнется с любовницей, и опять налево посматривать начнет.