吴耀汉是二房幼子，在十六名兄弟姊妹中排行第八。父亲吴海霖是九龙巴士及九龙殡仪舘的创办人之一，母亲于他9岁时离世。吴早年在尖沙咀山林道家族自建的五层高大宅居住，自7岁起入读圣士提反书院附属小学，并且留校寄宿。后来升读圣士提反书院。1955年十五岁那年起到英国伊顿公学求学，其间热衷于戏剧活动。参与演艺界前是位大学牙医系学生，但只读了一年便肄业，改到英国咸斯特戏剧学院攻读戏剧课程。毕业后于1967年获经纪人介绍加入了英国广播公司主演4部电视喜剧片。碍于不够生活费煳口，他另外从事中国古董买卖，又在中国酒楼当洗碗员