I 1560 ble her på initiativ av kong Frederik II opprettet et , på omtrent samme sted som Vartov ligger i dag. Det ble innkalt ekspertise fra Tyskland, men som årene gikk, viste farveriet seg å vær en dårlig forretning for kongen. Omsider ble bedriften solgt til astronomen Tycho Brahe, som i forveien hadde en gård ved siden av. Brahe forpliktet seg til å innrette en særlig farveribygning ut til vannet, samt til å holde en bolig for farvermesteren. Til gjengjeld ønsket han å bruke den stenskansen som støtte opp til Farvergården som observatorium. Brahe og hele hans familie, tjenere, kolleger og alskens utstyr, oppholdt seg her fra han forlot Hven i 1597, til han reiste for godt fra Danmark i 1599.