År 1895 köptes huset och Gamla Apoteket av överste Gustaf Björlin som just hade utsetts till kommendant över armén på Gotland. Björlin var historiskt intresserad och en kulturpersonlighet i Stockholm, känd för poesi och för en historik om kriget mot Ryssland 1808–09. Han påbörjade en restaurering av huset, och hade planer på att bygga till en flygel med kök och bostad för tjänstefolk på västra sidan. Vid slutet av sin kommendering på Gotland ville Björlin avveckla Björlin sålde det senare till hovjuveleraren i Stockholm Jean Jahnsson. Snart började ett rykte cirkulera att Jahnsson ville ta delar av huset till restaureringen av van der Nootska palatset i Stockholm, som han ägde och höll på att restaurera.