La historia de la Real Diputación San Andrés de los Flamencos remonta al año 1594, cuando el 16 de agosto, Carlos de Amberes cedió en escritura pública una serie de inmuebles para que a su muerte sirvieran de albergue y hospedaje a los pobres procedentes de las Diecisiete Provincias de los Países Bajos que visitaban la Corte.