Tidligere sørget Slottsfjellskomitéen, ikke kommunen, for tilsynet av tårnet. Siden 2012 har Vestfoldmuseene hatt ansvaret for Slottsfjellstårnet i ruinparken. Slottsfjellsmuseet beskriver tårnet som et symbol på byens middelalderhistorie.