Originariamente, fue creada con el nombre de Real Diputación de San Andrés de los Flamencos, para albergar y hospedar en ella a los pobres y peregrinos procedentes de las Diecisiete Provincias de los Países Bajos.