后因列车班次减少及州际公路系统的竞争而开始恶化。1958年，宾夕法尼亚铁路和巴尔的摩暨俄亥俄铁路考虑要顶让车站，或者干脆将之拆除，再于原址兴建办公大楼1963年则有将本站改建为文化中心的建议，但该建议后来却转变为甘迺迪表演艺术中心的成立。1965年，史密森尼学会的一项研究建议将联合车站作为铁道博物馆，但该协会的书记却认为该计画不如其他如航太博物馆等计画来得好。1967年美国文官委员会（United States Civil Service Commission）的主席表达了他对联合车站去留的兴趣，他建议日后