Gården ble i 1703 kjøpt av trelasthandler James Collett, innvandret fra England i 1683, stamfar til den norske familien Collett. Gården tilhørte hans etterkommere i 125 år til 1828. Fra 1843 drev Cappelen-familien bokhandel og forlag i gården. Den var fredet som kulturminne, men ble likevel revet i 1939 da forlagets nye forretningsgård skulle oppføres. Hovedbygningen med tilstøtende sidefløyer ble demontert og flyttet til Norsk Folkemuseum, hvor den etter 25 års lagring ble gjenreist fra 1963 til 1982, men den er ennå ikke helt ferdig innredet.