As súas orixes datan da Real Cédula emitida por Carlos I de Castela o 3 de febreiro de 1529 e dunha Real Provisión do mesmo monarca e a súa nai, a raíña Xoana I de Castela do 1 de marzo de 1543, cando se ordenou a salvagarda e custodia dos procedementos da Real Audiencia de Galicia, un organismo creado polos Reis Católicos mediante diversas disposicións a partir de 1480. O seu inicio formal data da Real Cédula de Carlos III emitida o 22 de outubro de 1775, cando se crea o Arquivo, asignándolle tamén persoal e unhas normas de funcionamento. A súa sede orixinal era o Palacio da Real Audiencia, un edificio que actualmente alberga a Capitanía Xeneral, onde permaneceu até o seu traslado en 1936 aos sotos do Palacio de Xustiza. Finalmente, en 1956 foi trasladado ao seu actual emprazamento, xunto ao Xardín de San Carlos. O proxecto foi concibido por Antonio Tenreiro e inaugurado en 1955.