Museet og området rundt er et sammenhengende kulturmiljø som representerer byens lange historie, med blant annet byløkker, markering av teglovn fra middelalder og museets bygdeavdeling. Ruinparken på Slottsfjellplatået viser rester etter en av landets og Nordens største middelalderborger Tunsberghus. Det 27 meter lange hvalskjelettet i Hvalhallen, er verdens største bevarte skjelett.