Не гуляйте вместе с ними. Он общается с детьми, а не с вами. Вы там присутствуете как раздражающий фактор для него: вы пытаетесь выяснять отношения, он хамит в ответ.  Почему вы вышли замуж за хама и родили от него детей - себе задайте вопрос.