Nach einer Lehre in Ulm trat Zeller 1777 in das Lyonaiser Kontor des auf Textilhandel spezialisierten Handelshauses Scherer in St. Gallen ein. Nach vierzehn Jahren folgte er dem Kaufmann Pierre Mercier als Teilhaber eines im Überseehandel tätigen Handelshauses nach Nantes. Im Verlauf der Niederschlagung der Vendée-Aufstände floh Zeller 1794 nach Hamburg, wo er Anfang 1796 gemeinsam mit dem französischen Emigranten Michel Augustin de Goyon (1764–1851) das Handelshaus „Caspar Zeller &amp; Co.“ gründete. Basierend auf einem Netzwerk zwischen Hamburg, New York, London, Port-au-Prince und Paris stiegen Zeller und sein Partner in den Direktimport von Waren aus Übersee ein. Diese Handelssparte war für Hamburg im 18. Jahrhundert neu, da die Stadt bis in die 1790er Jahre vom Direktimport überseeischer Güter durch die restriktive Handelsgesetzgebung der großen Kolonialmächte (französischer Exclusif bzw. englische Navigationsakte) ausgeschlossen war und überseeische Agrarprodukte wie Zucker, Kaffee, Tabak, Baumwolle oder Indigo nur über die Vermittlung der großen Häfen des westeuropäischen Raumes nach Hamburg gelangten.