I juli 1864 etterfulgte Karl sin far Wilhelm som konge. Karl I støtte på mange vanskeligheter allerede i de første årene som konge. Det var kamper mellom Østerrike og Preussen, da begge land ville ha overherredømme over de tyske statene. Wilhelm hadde alltid gitt sin støtte til Østerrike, og Karl og hans rådgivere videreførte denne alliansen. På vegne av Østerrike ledet Württemberg i 1866 sine styrker inn i den østerriksk-prøyssiske krig. Lykken var ikke på Württembergs side; tre uker etter slaget ved Königgratz (3. juli 1866) led styrkene et stort nederlag ved Tauberbischofsheim, og landet måtte se seg slått av Preussen. Prøysserne beleiret den nordlige delen av Württemberg og kom fram til en fredsavtale i august 1866. Württemberg måtte betale en oppreisning på åtte millioner gulden, men inngikk deretter en offensiv og defensiv traktat med Preussen.