Der Turnverein New Ulm wurde am 11. November 1856 gegründet; Pfänder wurde sein Berichterstatter. 1858 wurde die erste Turnhalle gebaut, die wenige Jahre später aber im Zuge des New Ulm Massacre zerstört wurde. Pfänder stand zu dieser Zeit als erster Leutnant der First Minnesota Battery auf der Seite der Union im Amerikanischen Bürgerkrieg im Feld. Sein Kriegseinsatz in der First Minnesota Battery, die Pfänder nach dem Ausfall des Hauptmanns Muench kommandierte, wird im Roman "Shiloh" von Shelby Foote mehrmals erwähnt.