ДА, разговаривать нужно только с мужем. ТА женщина Вам, по сути, никто... не она вас замуж звала. Все вопросы решайте со своим мужчиной.  И не умрете вы от того, что Вам муж скажет... Поговорите с мужем, а потом уже будете думать, как лично Вам жить дальше.