Von Konowin vanhemmat olivat majuri Gregori von Konow ja Ulrika Eleonora Blåfield ja puoliso vuodesta 1810 Agatha Kristina Becker (k. 1859). Eversti, valtiopäivämies Johan Emil von Konow oli heidän poikansa. Carl Johan von Konow kävi Haapaniemen sotakoulun ja osallistui an 1788–1790 vänrikkinä, yleten luutnantiksi. 1907 hänestä tuli kuningatar Fredrika Dorotean kamaripaasi, 1804 hänet ylennettiin kapteeniksi Porin läänin jalkaväkirykmenttiin. Vuonna 1807 hän osallistui Pommerissa Napoleonin joukkoja vastaan tehtyyn sotaretkeen. Suomen sodan aikana hän toimi Porin jalkaväkirykmentin palveluksessa majurina ja komppanianpäällikkönä, kunnostautuen erityisesti Lapuan taistelussa ja Kauhajoella. Sodan jälkeen von Konow erosi Ruotsin armeijan palveluksesta majurina 1810. Hän palasi kuitenkin sotilasuralle Suomessa ja toimi vuodesta 1812 alkaen 2. suomalaisen jääkärirykmentin Kuopion pataljoonan komentajana. Von Konow ylennettiin everstiluutnantiksi 1819 ja 1822 hänestä tuli Hämeenlinnan pataljoonan komentaja. Hän erosi armeijan palveluksesta 1825 everstin arvoisena. Tämän jälkeen hän toimi maanviljelijänä. Hänet tunnettiin karskina herrana, joka mielellään muisteli sotakokemuksiaan.