Ну заявлять он может что угодно. Вы же сами ссоры провоцируете и мужа доводите. Зачем вы это делаете? Отпустите сейчас ситуацию, съездите отдохните вместе с ребёнком, к мужу относитесь как к чужому соседу. Вы же не будете цепляться к чужому человеку? Когда ситуацию отпустите, перестанете злится и чего-то требовать от мужа - тогда у вас в голове всё прояснится и вы сами для себя решите как лучше поступить для вас и для ребёнка.