他9岁时离世。吴早年在尖沙咀山林道家族自建的五层高大宅居住，自7岁起入读圣士提反书院附属小学，并且留校寄宿。后来升读圣士提反书院。1955年十五岁那年起到英国伊顿公学求学，其间热衷于戏剧活动。参与演艺界前是位大学牙医系学生，但只读了一年便肄业，改到英国咸斯特戏剧学院攻读戏剧课程。毕业后于1967年获经纪人介绍加入了英国广播公司主演4部电视喜剧片。碍于不够生活费煳口，他另外从事中国古董买卖，又在中国酒楼当洗碗员及圣诞节兼职邮差。1970年，吴耀汉基于英国没有太多发展机会留给华人，加上已婚且育有女儿，不想再当地