På Sveti Petar kan en se restene av en borg fra 1600. Den ble oppført av venetianeren Filippo Pasqualigo for å forsvare området mot sjørøvere. De første kroatene kom til Ilovik på slutten av 1700-tallet fra Losinj, og dette markerte begynnelsen på det moderne Ilovik.