А что вообще значит "приезжай побыстрее?" Он там делом занимается, а Вы - тут. Какие приезды? Каждый занят своими делами и отдыхом. Кидаться по первому "побыстрее", имхо, не стоит.И стиль общения отсюда же проистекает. Они привык, что он Вас дергает, как куклу, а Вы и несётесь. К врачу хочу-не хочу, туда, сюда. Вы решаете эти вопросы и только Вы. Если Вы считаете, что нужно к врачу, то никаких обсуждений. Бухти, ной, но иди. Вопросы здоровья не обсуждаются. А в других ситуациях дайте больше свободы. Поговорите с ним на эту тему, что есть вопросы, где мама решает, а есть - где он. Распределение ответственности поможет избежать конфликтов на пустом месте. Но  это, конечно, не на раз-два реализуется, нужно осознать.