Venne fondato nel 1898 da Otto Benndorf, che ne fu anche il primo direttore: in questo periodo vennero condotti scavi a Efeso in Turchia, e furono aperte altre sedi a Smirne e ad Atene, oltre a nuovi scavi condotti nel Peloponneso e nella stessa Austria a Carnuntum. Dopo la prima guerra mondiale e il crollo dell'impero asburgico, l'istituto ridusse le sue attività e la sede di Smirne venne chiusa. Nel 1935 fu inserito nell'Università di Vienna e dopo l'annessione dell'Austria del 1938, fu riunito al Deutsches Archäologisches Institut tedesco.