Cavanaghs foreldre var akademikere og forfattere. Han er av irsk herkomst og vokste opp i en stor katolsk familie. Cavanagh flyttet sammen med familien til en liten by i Ghana, Winneba, da han var sju år gammel. I tenårene flyttet familien videre til Lennoxville i Quebec, der han begynte på videregående skole. Han studerte i Frankrike og spilte basketball for baronene.