Da sein Vater als Oberst in französischem Dienst das Régiment royal allemand des Royal Deux-Ponts befehligte, wurde Friedrich in der Pagerie des Chefs dieses Regiments, des Herzogs Karl II. August von Pfalz-Zweibrücken, erzogen. Am 8. April 1779 wurde er zum Unterleutnant in diesem Regiment ernannt und nahm mit ihm im Amerikanischen Unabhängigkeitskrieg (1775–1783) teil. Nachdem er zum Premierleutnant, später zum Adjutant-Major aufgestiegen war, berief ihn der spätere Kurfürst und bayerische König Maximilian I. nach Ausbruch der Revolution in die Heimat zurück und verpflichtete ihn für sein Leib-Garderegiment. Mit diesem nahm Zoller in den Jahren 1793/1794 im Stab des preußischen Generals Friedrich Ludwig Fürst von Hohenlohe-Ingelfingen im Koalitionskrieg gegen Frankreich teil. Danach kam er im Jahr 1799 in kurfürstlich bayerische Dienste.