天安门、地安门在同一条直线上；而东安门、西安门则不在同一条直线上，东安门同紫禁城东华门相对，西安门同紫禁城西华门不相对。明朝紫禁城西面有西苑、太液池等金朝、元朝的苑囿，有大片的水面，所以自西华门无法向西直线行进，只好在皇城西墙中段偏北处设西安门，由北海与中海间的陆地通道通行。1951年，因西安门旁边的摊贩失火，西安门遭焚毁。西安门有楠木模型存世。西安门值房，位于西安门大街111、113号，现为西城区普查登记文物。
建筑.西安门没有城台，门基是青白石，红墙，单檐歇山黄琉璃瓦顶