關於禮賓府嘅建築民間一直有各種嘅傳說，其中最著名嘅係指禮賓府有一條祕密嘅地下通道可連接中環嘅香港上海匯豐銀行總部同金鐘嘅添馬艦海軍基地（家下中國人民解放軍駐港部隊大廈）。