Carl Viktor von Fischer war der Sohn des Emanuel Friedrich von Fischer (1732–1811) ud Katharina von Wattenwyl. Ab 1782 war er Offizier in holländischen Diensten und 1792 Hauptmann im Berner Generalstab. 1795 wurde er zum Grossrat erhoben. 1798 focht Fischer bei Fraubrunnen und schloss sich Ferdinand Isaak de Rovéréa an. 1799 wurde er bei Zürich verwundet. Ab 1801 war er Major in englischen Diensten, kämpfte in Neapel, Sizilien und Ägypten; anschliessend war er Oberstleutnant in Gibraltar und Kommandant von Cadiz, befehligte sodann ein Regiment in Kanada, nahm im Britisch-Amerikanischen Krieg (1812–1814) an der Eroberung des Forts Oswego teil und wurde bei Erie verwundet. Ab 1816 war er Oberst und Regimentsinhaber.