Firmaet ble grunnlagt av Johan Olsen (1799–1859), som drev som frøhandler fra 1833 og gav ut det som regnes som Norges første frøkatalog, i 1834. Gartneriet holdt da til i området rundt Torggata og hadde senere kontoradresse Storgata 37. Etter Olsens død overtok enken Anne Helene (1807–82), hvorav firmanavnet. Senere overtok sønnen Ole Christian Olsen (1845–1921), som drev firmaet i 54 år. I 1878 kjøpte han en eiendom på Elmholt ved Abbediengen, der det ble drevet planteskole med veksthus, mens frøsalg ble drevet fra sentrum.