I den tiden Sverige og Finland var samme rike, var Gustav II Adolf den eneste kongen som besøkte Olofsborg. Det var vinteren 1622; kongen var på vei til Stockholm fra krigsskueplassen i Polen, som også betød besøk i blant annet Viborg og Torneå. Kongens bror Karl Filip besøkte slottet ni år tidigere, etter forhandlinger med byen Novgorod, som stod under svensk beskyttelse, i Viborg 1612–1613. Karl Filip var Novgorods kandidat til tsar av Russland.