Firmaet ble grunnlagt i 1869 av grosserer Elias Anton Smith (1842–1912), som via sin far Peter Høeg Smith (1813–1881) ble syvende generasjons handelsmenn i familien Smith. Gjennom sin mor Marie Severine Cappelen (1814–1900) og sin farmor Karen von Cappelen var han etterkommer etter Cappelen-slekten.