I arbeidet for å redde Frogner fra en kommunal istandsettelse og ombygging som han oppfattet som ødeleggende, skaffet Fritz Holland seg mange fiender, både i kommunen og innenfor Foreningen. Han ble også motarbeidet av Norsk Folkemuseum ved direktør Hans Aall, som så Bymuseet som en farlig konkurrent. Aall fikk styret til å begrense virksomheten til bare å samle bilder, ikke gjenstander. Konflikten endte med at Holland i 1911 måtte forlate stillingen som daglig leder og konservator for å bli etterfulgt av Stian Herlofsen Finne-Grønn. Men på generalforsamlingen 29. april 1912 ble den nylig oppsagte konservator Holland valgt til Foreningens formann. Motsetningene internt i styret og mellom formannen og hans etterfølger lammet virksomheten fullstendig, og det endte med at Holland trakk seg fra formannshvervet og meldte seg ut av Foreningen i november. Hans planer for Bymuseet ble skrinlagt, bygningsdelene til det planlagte friluftsmuseet ble solgt til en skraphandler, og utstillingene hadde helt til 1950 karakter av rene billedgallerier med byprospekter og portrettet av historiske personer.