Weidenhielm startet sin militære karriere i 1834 som kornett i Smålands husarregemente, og var i 1871 blitt generalmajor i armeen. Han ble 5. desember 1871 utnevnt til krigsminister i den svenske regjeringen, hvilket han var frem til 11. september 1877. Sentralt i Weidenhielms statsrådsperiode sto endringer i hærordningen i Sverige, men gjentatte forkastede overgangsforslag i Riksdagen foranlediget at han avgikk som krigsminister i 1877. Weidenhielm fortsatte umiddelbart i militær befalsstilling etter statsrådsperioden, fra 1881 som generalløytnant, frem til han søkte avskjed i 1884.