Вообще, на это просто не следовало обращать внимание  Взрослые, которые обижаются или раздражаются из-за детской болтовни, сами еще не выросли, видимо. Ну или если были не в настроении и он попал на вас уже заранее раздраженную и поэтому так вывел из себя, то надо было авторитетно рявкнуть, что он вам мешает и отвлекает от дороги, что недопустимо. Если он не перестал после ваших слов - значит недостаточно авторитетны вы были. Что очевидно. Ибо потом, после полутора часов попыток отказа вы-таки согласились