Zeiner-Gundersen, Sohn des Schiffsmaklers Herman Gundersen und dessen Annette Zeiner-Henriksen, wuchs zunächst in Helsingfors auf, ehe seine Familie nach Kristiania verzog. Nach dem Besuch der "Hegdehaugen skole" begann er 1933 eine Offiziersausbildung an der Heeresartillerieschule sowie im Anschluss an der Kriegsschule "(Krigsskolen)". 1936 wurde er zum Leutnant befördert und absolvierte 1938 die Militärhochschule "(Den militære høyskole)". Nach deren Abschluss kehrte er als Inspektionsoffizier und Hörsaalleiter an die Heeresartillerieschule zurück und erlebte dort als Offizier im Stab des Artilleriebataillons Hegstad den Überfall der deutschen Wehrmacht auf Norwegen am 9. April 1940. Mit diesem Bataillon nahm er aktiv an Kampfhandlungen in Südnorwegen teil und floh 1941 über Schweden, die Sowjetunion sowie China nach Kanada. Nach einer darauf folgenden Tätigkeit an der norwegischen Militärmission in New York City ging er im April 1942 nach Großbritannien, wo er als Hauptmann Verwendung in der Artilleriebatterie der norwegischen Brigade in Schottland fand.