この世界遺産の推薦は1986年12月31日のことだった。これに対し、世界遺産委員会の諮問機関である国際記念物遺跡会議 (ICOMOS) は「登録」を勧告し、1988年の第12回世界遺産委員会でほかにスリランカが推薦していた聖地キャンディ、シンハラジャ森林保護区とともに正式登録が認められた。
ゴールは古くから交易拠点となっていたと考えられ、イブン・バトゥータの著書にも見られるが、ヨーロッパ人がゴールに到達したのは1505年のことである。最初に到達したのはローレンソ・デ・アルメイダ率いるポルトガル船だったが、これは偶発的なものだった。1507年に貿易が始まり、ポルトガル人たちは拠点を築き、強化していった。1625年には3つの稜堡とサンタ・クルズ砲台が設置された。これは現在残る要塞よりもずっと簡素なものであったが、ゴール要塞の成立と見なされている。このポルトガルの拠点は1640年にヤコプ・コステル率いるオランダ軍の攻勢によって陥落し、オランダ海上帝国の一部となった。オランダはポルトガル人の都市計画を土台にしつつも、多くの点で変更を行い、現在残るゴールの基本形を作り上げていった。旧市街を囲む城壁は1663年に築かれたものであり、1669年には主要な3つの稜堡を含む要塞が完成した。オランダ語でステル（星）、ゾン（太陽）、マアン（月）と名づけられたそれらの稜堡は、今もそれぞれスター、サン、ムーンと呼ばれている。18世紀になると勢力を伸ばしていたイギリスへの警戒からさらに11の稜堡が増やされるなどの強化がなされたが、1796年にイギリスの手に落ちた。しかし、無血譲渡であったために、当時の建造物群の多くが破壊されることはなかった。さらに、19世紀後半にはコロンボの交易拠点としての重要性が増したことで、ゴールは地方商業の拠点に過ぎなくなったが、それによってかえって街並みは良好に保存された。
豊臣秀吉の天下になっても1万石という待遇を保てた足利義昭、江戸幕府の下で大名格の扱いを受けた喜連川氏（鎌倉公方家の後裔）、さらには讃岐国から探し出された上に熊本藩士として召抱えられた尾池義辰（義輝の遺児といわれる）のような人物の子の西山至之・尾池藤左衛門ですら1000石の扶持を受けていたという事態とは対照的に、織豊期はおろか徳川期における蜂須賀氏の客将時代でも、平島公方は冷遇されていた。その一方で、陪臣でありながら堂上家公家である水無瀬家や持明院家の娘や西洞院家の養女を妻に迎えた当主もおり、権威や血筋なら京都ではある程度は認められていた。しかし、実際の暮らし向きに権威や血筋が反映されておらず、阿波徳島藩主・蜂須賀氏からは客将として扱われたとはいえ、義維以来の3千貫の所領没収の上、茶湯料としてわずか100石しか受けられなかった。蜂須賀氏としては、領内にこのような権威を持つ特別な家が存在することは好ましくないが、領外に退去させることも踏み切れなかったためである。慶長13年（1608年）、足利義次は足利氏の家名を平島氏に改姓させられ平島又八郎と名乗らされ、公方家の藩に対しての取り次ぎ窓口を家老職から、一般寄合階級に振りかえるなどの一層の冷遇を受けた。そのような不遇下でも、歴代当主の中には漢籍などに長けた者（例えば、義宜）などが多く、一大文化拠点のようなものを形成していたこともあった。4代義次の代には旧領のうち七浦山が返還され、5代義景の代には現米100石の合力米が許され、やがて明和年中（1764年 - 1771年）には現米950石が給され1190石まで知行が加増したなど、ようやく待遇の改善も見られた。蜂須賀治昭の幼少の頃は友好関係を取り戻していた。だが、文化2年（1805年）、9代義根は病気療養を名目に阿波退去の許可を請うた。藩主・蜂須賀治昭は好学であったため義根の教養を惜しんで引き留めたが、義根の意志は変わらなかったため阿波退去を許可し、義根には餞別として銀300枚を、平島家代々の墓がある西光寺には墓守料50石を与えた。退去の真相は明らかではないが、義宜の頃より平島家が松平大和守や大奥を刺激した蜂須賀重喜追い落とし工作に対する蜂須賀家の平島家への意趣返し（栄典の剥奪など）に耐えかねたという説や、屋敷や領内の七浦山の上質の木材を未処分のまま、あわただしく退去していることから、義根の子・義寛を紀州藩に仕官させる内約があったため急いで退去したという説がある。しかし、急いで退去したと言うには疑問がある。というのは、退去を公方家が阿波藩に届けてからかなり経過しておること、それについて退去督促状を阿波藩が公方家側に出していること、退去費用捻出のために屋敷の施設を各所に売却するなどしていたこと、退去時の同行家臣は、公方が平島に居着く以前の者に限ることなどを阿波藩が布告し、その通りにさせていることなどが上げられる。また、義寛の仕官の伺いは、阿波退去後に出されていること、安政年間に、義俊が紀州藩家老宛に「知行地もしくは邸宅下賜の願い」を出していることなどが上げられる。徳島県史がこれらに触れていないのは、編纂時に平島側史料にそれほど拠っていないためだと言える。その後は母方実家の京に居を定め、姓を足利に戻したが、禄も無いので次第に窮迫したので家臣の数も減らしていき、紀州徳川家からの援助と等持院など足利氏ゆかりの寺院からの援助で細々と食いつないでいたという。紀州家は蜂須賀家にも援助することを求めたが、蜂須賀家は退去の経緯から断っている。その後、義寛は公家の桜井家に仕えたという。