Pugh bodde sine første 10 år i England, men flyttet så med familien til Sør-Afrika. En måned etter at han hadde hatt sin første skikkelige svømmetime som 17-åring, svømte han fra Robben Island til Cape Town. Ikke lenge etter svømte han også over Den engelske kanal. Han studerte juss ved universitetet i Cape Town og Jesus College i Cambridge, og jobbet så som advokat i London, før han for alvor begynte med langdistansesvømming i kalde og vanskelige farvann.