Почему же он "на берегу" не поставил жену в известность, что он планирует иметь любовницу и иметь внебрачных детей? Тогда да, она не имела бы права сказать "Ты мой муж". Полагаю, что вступая в брак ничего такого не озвучивалось. Следовательно, должен же он хоть как-то объяснить жене (законной) свои поступки? Говоря эту фразу, она ему напомнит, что у него есть кое какие моральные обязательства перед ней.