Den første guvernøren av New South Wales, Arthur Phillip, oppdaget Blue Mountains utstrekning fra et høydedrag ved dagens Oakhill College i Castle Hill. Han gav området navnet Carmarthen Hills, «omtrent førti til seksti miles borte» og han merket seg at det ville gjøre seg godt som myndighetenes eiendom. Utsikten Arthur Phillip hadde i sine dager, kan bli sett den dag i dag. I 1799 etablerte Gidley King en fengselsby for politiske fanger fra Irland og Skottland.