Vardøhus festning ble anlagt i løpet av middelalderen, senest i 1307. Det finnes ingen synlige spor etter denne festningen, men en ny festning ble anlagt på 1400-tallet.