Festningen på Imeri Gramvousa ble reist i 1579 under tiden Kreta var underlagt republikken Venezia for å forsvare øya og området fra angripende osmanske tyrkere. Festningene forble på venetianske hender gjennom hele den langvarige kretiske krigen, og i fredsavtalen den 16. september 1669, som overga Kreta til osmanene, ble Gramvousa sammen med festningene i Souda og Spinalonga, værende kontrollert av Venezia. Disse tre festningene forsvarte venetianske handelsruter og var også strategiske baser i påvente av en ny osmansk-venetiansk krig over Kreta.