Museet kalles også de etter Knud Lyne Rahbek, som bodde som fast gjest på kroen i perioden 1787 inntil 1802, da han kjøpte stedet og hadde det til sin død i 1830. I Bakkehuset holdt hans hustru, Kamma Rahbek, sin salong i den danske gullalder. Senere har bl.a. Johan Ludvig og Johanne Luise Heiberg, Troels Frederik Troels-Lund, Adam Oehlenschläger, N.F.S. Grundtvig og hans fetter Henrich Steffens bodd der om sommeren.