Muzeum se nachází v budově bývalého Nádraží d'Orsay, otevřeného při příležitosti Světové výstavy roku 1900. Nádraží, které fungovalo téměř 40 let, bylo postaveno na místě Paláce d'Orsay. O vzniku muzea rozhodl francouzský prezident Valéry Giscard d'Estaing. Muzeum d'Orsay bylo po rekonstrukci nádražní budovy otevřeno v roce 1986. Výstavní plocha má rozlohu 26 000 m2.