El edificio principal del museo, diseñado por la firma arquitectónica Babb, Cook y Willard, era anteriormente la mansión del filántropo y magnate del acero estadounidense Andrew Carnegie, que vivió allí hasta su muerte en 1919; la vecindad en la que el museo se encuentra localizado es Carnegie Hill.