ゴルムバッハは、北のフォーグラー山地、東のホムブルクの森、南のゾリング、西から南西にかけてのブルクベルク山地に囲まれている。この町は東のシュタットオルデンドルフと南西のベーヴェルンとの間に位置している。フォルストバッハ渓谷に位置する。
古代の都城においては、天皇の居住空間である内裏の周辺に官司や関連施設を配置して周囲を囲み大内裏を形成していたが、中世に入ると平安京の内裏は荒廃し、代わりに里内裏を用いるようになり、南北朝時代にはそのうちの1つである土御門東洞院殿が内裏として固定化された。土御門東洞院殿の周囲には官司も更なる外周を囲む郭などは存在しなかったが、内裏の周囲1町四方（面積にして3町四方分）、一条大路・万里小路・鷹司小路・烏丸小路に囲まれた地域を大内裏の区域に見立てて「陣中」と称して、牛車宣旨の無い者の乗り物での通行を官民問わずに禁じるなど大内裏の内部に準じた規制を行った。通説では内裏の周辺に公家を集住させる計画、すなわち公家町の設置は豊臣秀吉の京都改造に伴って行われたと言われている。しかし、実際には織田政権の下で正親町天皇の譲位と仙洞御所の造営が検討されていた頃から存在していた構想であり、天正3年（1575年）に織田信長は正親町天皇に内裏の東側と南側に摂関家以下の公家を集住させる構想を披露して、天皇もこれを同意している（『御湯殿上日記』天正3年7月13日条）。豊臣政権の下で実際に行われた公家の集住も天正13年（1585年）の正親町上皇の仙洞御所の造営と並行して開始され、秀吉の関白就任後に政庁としての聚楽第の造営に続く寺町の形成・御土居の建設・天正地割などのつながっていく京都改造の流れよりも前に位置づけられるもので、むしろ豊臣政権の成立過程で行われた朝廷工作の1つであったとみられている。その先駆けとして、天正13年の秋には近衛家の邸宅が上立売から今出川に移転されている。後に秀吉が関白に就任したことで、公家の集住政策には公家が朝廷に勤仕する姿の可視化の効果も期待されるようになる。続いて、天正18年（1590年）に八条宮家の創設が決定されると、内裏の北側に宮邸を造営するために同地域に居住する公家たちの移転とそのための内裏の東側に公家の集住地域を設けた。なお、この地区は既に織田政権の頃には京都市中の荒廃によって畠や空地になっていたために公家の集住先の候補に挙げられており、かつて織田信長が京都御馬揃えを行った場所でもあった。また、内裏の周囲、かつて陣中と称せられた地域をほぼ囲い込むように内裏を守る惣構が構築されているが、京都市中に御土居が構築された時期と重なるためにこの時期に行われた可能性が高い（少なくても慶長年間には既に惣構は存在しており、関ヶ原の戦いの前哨戦となった伏見城の攻防の時には惣構の惣門が閉じられている）。また、秀吉は慶長2年（1597年）に聚楽第に代わる施設として、内裏の東南に京の城（京都新城）を造営しているが、高台院の居宅となり、後にその跡地に後水尾上皇の仙洞御所が造営された。江戸幕府も基本的には豊臣政権の方針を引き継ぎ、慶長10年（1605年）の内裏改築、慶長16年（1611年）の後陽成上皇の仙洞御所造営と共に、対象地にあった公家屋敷・寺院・町家の上地と移転を進め、公家の集住地区が更に東側に広がった（この頃まで、公家の集住が進められている中でも武家や町人の住居が混在していた）。更に従来の惣構を拡張する形で新たな惣構が設けられ、惣構の内側――すなわり、公家町の面積が広げられることになった。惣構の拡大は寛永年間にはほぼ完了し、寺町通・烏丸通・北土御門通・相国寺石橋南町筋に囲まれた範囲が固定化された。公家の集住地域が陣中の外側に広げられ、更にその外側を惣構が囲まれたことにより、陣石と呼ばれる目印は置かれていたものの架空の概念に近い存在であった陣中に代わって惣構とそれに付属する惣門が内裏を囲う外郭と認識されて「惣門之内」と称せられた。そして、遅くても万治年間までには戦国的な名残を残す惣構は「築地」と呼ばれるようになり、「惣門之内」から「築地之内」と呼ばれるようになり、「築地之内」が公家町の別称として定着する。承応2年（1653年）の火災で内裏が焼失し、その後も度々公家町は火災に見舞われた。そして、宝永5年（1708年）の火災で内裏や仙洞御所を含めた公家町のほぼ全域が焼失したのを機に公家町の内部に道を通すとともに一部の公家屋敷を惣構（築地）の南隣に移転させて事実上の「築地之内」への編入を行う（火除地用の空地を含めると、公家町自体は丸太町通まで南へ拡がることになる）など大改造を行った（なお、南側に広げた背景には北側は相国寺の敷地と隣接してこれ以上の拡大が不可能であったことが挙げられる）。寺町通・烏丸通・丸太町通・今出川通に囲まれた明治以降の京都御苑に繋がる公家町の範囲がこの時点で確立したと言える（なお、寺町通の東側の一部などはその後も収容しきれなかった公家屋敷が配置されている）。