А почему вы не воспитываете детей и они позволяют себе утаскивать вас куда-то в то время, когда вы с мужем разговариваете?   Для меня такое поведение за гранью, и муж ваш тоже этим недоволен. И это плохо закончится для ваших отношений, если вы свои методы воспитания детей не пересмотрите.