Harris ble født den 1. oktober 1930 i Limerick i Irland. Han var en av ni søsken, sønn av gårdbrukerne Ivan og Mildred Harris. Han gikk på den jesuittiske skolen Crescent School (nå Crescent College) og Sacred Heart Jesuit College. Han var en talentfull rugbyspiller, var på flere Munster Junior- og Senior Cup-lag for Crescent, og spilte for det velrespekterte Garryowen club. Han kunne ha fortsatt en karriere som profesjonell rugbyspiller, men hans atletiske karriere tok slutt da han som tenåring fikk tuberkulose.