ルートヴィヒ5世は16世紀前半に城域をどの方向に向かって拡張したか。
中世の城塞の外観は判っていない。その城塞は、後に拡張された西側部分(ディッカー塔、北壁(イギリス館)、ロンデル(シュトュックガルテンの半円形の突出部)を含む西壁)を除いた現在の城域、環状壁の内部にあった。環状壁の遺構はルートヴィヒ館の東壁、エコノミー棟の東・南壁、ループレヒト館や夫人棟の西壁にわずかに遺っている。後世の城館は、現在のモルケンクーアの高台にあって1537年に焼失した城塞とともに防衛戦を形成し、これによってネッカー渓谷を制圧することができた。15世紀中頃から、砲撃のための3つの塔や外側の環状壁が建設されることで要塞へと拡充されていった。その後ルートヴィヒ5世は16世紀前半に城域を西に向かってかなり拡張し、新しい防衛施設や居住施設を建設した。さらにその後も引き続いて堂々たる外観の城館に変貌していった。ルートヴィヒの後継者らによって防衛機能は二の次になっていった。世代を経るにつれ、城は徐々に大規模な居館の複合体となっていった。ハイデルベルクの旧市街は随分後になって造られた。最初は斜面沿いの廷吏や官吏のための山の街であった。