Он прав в том, что имеет полное право отказаться.  Кроме того, возможно его задело что как бы он априори обязан, что не ожидается отказ. Возможно вы сказали не "а вот не  хочется ли тебе вести мою сестру к алтарю? ей было бы ужасно приятно", а что-нибудь вроде "сестра хочет чтобы ты вел ее к алтарю".Он может и так не хочет ехать на свадьбу, а тут еще такая обязанность взваливается. Не все любят подобное внимание и ответственность.