То есть до того, как вы узнали об этих отношениях, он их ошибкой не считал, а как только узнали, так сразу вдруг стали ошибкой?На самом деле важнее всего не что он сказал, а детали. Как случилось, что вы узнали, как он себя при этом вел, как вели себя вы, вплоть до того, в каком тоне разговаривали, в какой форме была выражена ваша "просьба" и проч. Судя по тому, в какой форме вы ставите вопрос - "или я (семья) или она" вряд ли это была просьба, скорее ультиматум