Hovedinngangen skal ha vært på østmuren, og hugget stein fra både hjørner og vinduer gir indikasjoner på at kastellet har hatt et markant eksteriør. Det eksisterer i dag to kjellervinduer hver på henholdsvis østveggen og sørveggen som fortsatt er synlige. Det finnes også rester av murverk på holmen, noe som indikerer at det fantes et ringmuranlegg tvers over Steinsholmen. Ved lav vannstand i Mjøsa kan man også skimte vesentlige rester av en 120 meter lang steinklopp som forbandt Steinsholmen og tårnet med fastlandet, og som trolig var en del av forsvarsverket til Mjøskastellet.