ゴール市内は大きく分けると3つの地区に分類される。半島部に形成された要塞が残るフォート・エリア、海岸や国道沿いに見られるムスリム商人の多い商店街エリア、仏教寺院が多く見られる丘陵部の住宅地エリアである。このうち、世界遺産対象地域になっているのはフォート・エリアである。フォート内部はオランダ植民都市にしばしば見られる格子状の街路が走るが、地形に合わせて若干の変形が見られる。オランダ人やイギリス人が居住してきたことから、ゴール市内のキリスト教会4つのうち、3つがフォート・エリアに残っている。オランダ植民都市時代に築かれたオランダ改革派教会（1752年）、イギリス国教会に属する諸聖人教会（1871年）、そしてメソジストの教会堂である。かつてはポルトガル植民都市時代に築かれたカトリックの聖堂もあったが、17世紀にオランダによって取り壊され、その跡地には仏教寺院のウィクラマシンハ寺院（1889年）が建っている。現在のフォート・エリア内にはムスリムが多く住む。1999年の統計ではフォート・エリアの住民2197人中、ムスリムは1009人で、シンハラ人の1159人と大差がない。これは伝統的に住んでいるムスリム（スリランカ・ムーア）のほか、スリランカ独立後、ヨーロッパ人やバーガー人の外部への流出によって空いた住居に移住してきた者たちが含まれている。そのため、モスクもフォート・エリア内に4つあり、そこにはオランダ植民都市時代に起源を持つメーラ・モスク（1904年）も含まれる。以上、キリスト教、仏教、イスラームのそれぞれの施設は残るが、ヒンドゥー教の寺院はない。旧ゴール総督府の建物は民間企業に委譲されたが、今も残っている。ほかにも旧兵舎は郵便局、旧オランダ軍病院は地方役場、旧商業銀行はセイロン商業銀行など、用途の転用はあっても、オランダ時代の建造物群はいくつも残っている。また、フォート内に残る住居群にはオランダ式の様式が持ち込まれたが、ベランダや中庭の配置などには、地元の様式との融合が見られると指摘されている。オランダからの影響で重要なのは排水施設である。フォートの旧市街には海抜0m以下の地域があるため、生活排水の処理は重要な課題となった。オランダは母国の経験を生かし、潮の干満を利用する排水システムを形成した。イギリスはこのシステムを発展させ、1888年には稜堡のひとつであるトリトン・バスチョン近くに風車を設置した。
江戸後期の甲斐国は全国的に著名な博徒を多数輩出し、1898年（明治31年）に著名な博徒を相撲番付風に紹介した「近世侠客有名鑑」では最上段に挙げられた博徒の2割が甲斐国出身者で占められている。中でも駿河の清水次郎長（1820-1893）との抗争を繰り広げた黒駒勝蔵（1832-1871）を始め、勝蔵の親分であった竹居安五郎（1811-1862）、安五郎・勝蔵と敵対した三井卯吉（1802頃-1857）や、卯吉の子分である国分三蔵（生没年不詳）、祐天仙之助（1824頃-1863）、次郎長と同盟した津向文吉（1810-1883）、甲州博徒の先駆けとなった西保周太郎（1797-1821）などが著名な甲州博徒として知られる。江戸時代には、弘化3年（1846年）に甲府勤番士の学問所である徽典館の学頭として江戸から甲府へ赴任した林鶴梁の日記において、養蚕が盛んである甲斐国では経済的豊かさと享楽的気風の蔓延が同居していることを指摘している。天保3年（1832年）には石和代官・柴田善之丞が勘定奉行に提出した文書において、甲斐国において博徒が横行していた背景に周囲が山々に囲まれ他国・他領へ抜けることが容易な自然地理的条件を挙げている。近代には1877年（明治10年）の山梨県の初代県令である藤村紫朗の建議書においても、藤村は山梨県における博徒盛行の要因に山林に囲まれ逃亡に適した地理的環境と、賭博嗜好の気風を論じている。近代における山梨県の県民性について言及した文献には「任侠」「義侠」的気風を挙げ、これを誇るべき長所としている。1921年（大正10年）の樋口紫川『甲州案内・地理と歴史』では「任侠にして独立の気風に富む」、1936年（昭和11年）の山梨県師範学校・山梨県女子師範学校編『総合郷土研究』では「ものに感激し易く任侠に富む」、1942年の山梨県『山梨県政五十年誌』では「多血質で任侠の風に富んでいる」と記している。また、1916年（大正5年）から若尾財閥三打目・若尾謹之助により開始された民間の修史事業である『山梨県志』編纂に際しては県内各市町村に対して、風土・歴史・地理などの項目を立てて照会した調査票である「町村取調書」が送付されているが、この中の「人物」の項目においては「忠臣」や「孝子」「学者」「富者」などとともに「侠客」が挙げられており、これらの人物を「社会的に顕著なる事跡を認められたるもの」として肯定的に捉えている。このように近代において博徒の存在は社会的に認知され、天田愚庵『東海遊侠伝』をはじめ実録や小説、芝居などフィクションを通じて広く喧伝されていたが、博徒は法秩序の外にあり記録史料に残りにくいため、その実態については不明な部分が多い。博徒は流通経済と関わりが深く、近世甲斐国では甲府城下町を中心に流通経済が発達し、富士川舟運を通じて駿河とは同一の経済圏で結ばれており、博徒の活動もこれと密接に関係していた。一例として甲州博徒の活動が活発化した19世紀には甲府城下では料理屋が発達し、甲府城下の飲食店に供給される海産物などの食材は博徒の勢力圏である駿河・伊豆方面から移入されている。また、料理屋は劇場など集客施設の付近に立地することが多く、多種多様な客層が集まり、博奕犯罪の多発した場でもあった。こうした料理屋には不審な人物が来店した際には通報・捕縛し役人に差し出す目明し的な治安維持の役割を担い、その見返りに飯盛女の雇用を許可された両義的性格を持った場でもあり、博徒とも関係が深かった。