Ну тогда переспросить: Значит, мол, ты мне даешь добро на секс на стороне по причине неудовлетворенности с тобой? И если и тут промолчит - то сказать: ну что же, считаю, что ты согласился. Не обячзательно использовать свое такое право. Но...дать понять. Впрочем, всегда можно перейти от слов к делу.