Selv om Pennsylvania Avenue er 11 km lang, er strekningen mellom Det hvite hus og kongressbygningen det seremonielle hjertet i byen. Opprinnelig gav gaten uhindret utsikt mellom Det hvite hus og kongressbygningen, men utvidelsen av finansdepartementsbygningen medførte at utsikten ble sperret. Antagelig ble dette gjort med vilje av president Andrew Jackson fordi forholdet mellom presidenten og kongressen var anstrengt, og Jackson ikke ville se kongressen fra vinduet sitt.