Сказавши А, логично сказать и Б тоже... а Вы тень на плетень наводите. Вот и не понятно, в чем причина таких глубоких переживаний на всю жизнь. Если Вам неприятно общаться с тем родственником, то что Вы потеряете если озвучите ему прямым текстом причину и оборвете общение? Какая разница как он там будет отмазываться? Вы вправе не поддерживать неприятное для Вас общение даже если тогда, в детстве, Вам просто померещилось.