Efter Wienkongressen kom fästningen att besättas av österrikiska styrkor. Den österrikiska militären lät tillbygga och ytterligare förstärka fästningen i omgångar. Dubrovnik var en befäst stad och från Imperialfästningen hade österrikarna översikt över gränsen mot Osmanska riket. 1882 förlorade fästningen sin militära betydelse sedan den österrikiska militären dragit tillbaka sin närvaro från Srđ som ett resultat av Berlinkongressen 1878 då Österrike-Ungern hade tilldelats det tidigare osmanska paschalikatet Bosnien och Hercegovina att "besätta och förvalta". Konkret innebar det att Bosnien och Hercegovina kom att kontrolleras av Österrike-Ungern och att Imperialfästningens roll som gränsfortifikation var överspelad. Sedan uppförandet 1806 hade fästningen inte angripits vilket skulle komma att förändras i samband med det kroatiska självständighetskriget 1991-1995.