Die Gründung der Kunstakademie erfolgte formal durch Philipp V. im Jahr 1744. Sie war eine lange erhobene, aber bis dahin nicht verwirklichte Forderung des spanischen Paragones. Eröffnet wurde sie jedoch erst unter dem aufgeklärten Despoten König Ferdinand VI. am 12. April 1752 mit dem ursprünglichen Namen "Real Academia de las Tres Nobles Artes de San Fernando". 1773 erwarb die Akademie ihr heutiges Hauptgebäude in der "Calle de Alcalá" Nummer 13; den Palacio Goyeneche, der 50 Jahre zuvor nach Plänen des Architekten José Benito Churriguera errichtet wurde. Das Gebäude im Barockstil wurde später teilweise neoklassizistisch umgestaltet. Die im Gründungsnamen erwähnten «drei edlen Künste» (tres nobles artes) waren Malerei, Bildhauerei und Architektur. Den heutigen Namen erhielt die Akademie 1873 als auch der Fachbereich Musik hinzukam. Bei der Belagerung von Madrid durch die Putschisten unter Francisco Franco, wurde die Akademie am 16. November 1936 bombardiert, gleichentags wurden auch das Museo del Prado und das Museo Antropológico von den mit den Nationalisten verbündeten Luftwaffen Nazi-Deutschlands und des faschistischen Italiens beschossen. 1966 wurde sie der Universität eingegliedert. 1987 kamen die Studiengänge Fotografie, Videokunst, Filmwissenschaft und Fernsehwissenschaft hinzu. Die Akademie ist innerhalb Madrids auf drei Liegenschaften verteilt.