Departementet har siden opprettelsen hatt sine kontorer i Victoria terrasse. Staten kjøpte bygget i 1913. Kvartalets nyeste del, mot 7. juni-plassen, ble bygget i 1963.