「大潭」一名在明朝着作的《粤大记》内已经有记载。位于附近的大潭湾（Tytam Bay）曾经作为18世纪代表香港岛的一个港口，而维多利亚港在当时的航海记载中只是港岛北部的一个海崃，而且地势险要及海盗猖獗。为安全起见，船只都取道南方的万山群岛到达澳门和广州。因此当时大潭湾亦称作「香港港口」（Hong-kong Harbour）。大潭湾最早的记载见于美国船长约翰．肯德里克（John Kendrick）于1792年9月的航海记录，他带领商船「华盛顿夫人号」（Lady Washington）驶经「澳门航道」