Dessiné par l'architecte Arata Isozaki, le musée provient de la galerie d'art qui fut construite pour l'Exposition universelle de 1970 tenue à Suita, en banlieue d'Osaka. Le site de l'exposition est devenu le après l'exposition, mais la galerie fut préservée pour servir éventuellement de musée permanent des beaux-arts. Elle rouvrit en 1977 sous le nom de Musée national d'art dans le parc commémoratif de l'Expo. En raison du vieillissement du bâtiment et de contraintes d'espace croissantes, le musée fut fermé temporairement en . Le vieux musée fut démoli et transformé en parc de stationnement, et les objets d'exposition furent transférés à Nakano-shima dans le musée actuel, plus central, qui a ouvert en .