Selv om navnet Vartov i dag refererer til bygningen i Farvergade, har det en skiftende historie bak seg.