王府之外为府城，共有两圈城墻，内圈城门设有四座城门，东门为东外门，南门为灵星门，西门为西外门，北门为北外门。外圈同样为四座城门，东门为体仁门，南门为端履门，西门为遵义门，北门为广智门。1370年，朱元璋之子朱樉被封为秦王，同年秦王府开始修筑，由秦王左相耿炳文主持修建。1378年，朱樉入住秦王府。明朝末年，李自成攻入西安，秦王朱存枢向李自成投降，秦王府成为大顺王府。清朝时，秦王府的宫殿被拆，基本仅存城墻。西安事变时，杨虎城曾将此地作为其指挥中枢。中华人民共和国建国后，体仁门、端履门和遵义门又被拆除，仅剩下广智