Taube startet sin militære karriere som underløytnant i Andra livgrenadjärregementet i 1851, fra 1858 tilknyttet den svenske generalstaben, og i 1879 var han blitt beskikket som oberst. Han var fra 1880 til 1882 krigsminister i den svenske regjeringen. Han fortsatte en militær karriere i flere stillinger også etter statsrådsperioden, med rang som generalmajor fra 1888 og generalløytnant fra 1897, før han tok avskjed fra det militære i 1899.