Kaarle Ludvig oli arkkiherttua Frans Kaarlen ("Franz Karl") ja Baijerin prinsessa Sophien kolmas poika. Hänen isoveljiään olivat Itävallan keisari Frans Joosef ja Meksikon keisari Maksimilian. Kaarle Ludvig oli kiihkokatolilainen ja poliittisilta mielipiteiltään äärivanhoillinen. Hän oli vuosina 1855–1861 Tirolin ja Vorarlbergin kuvernöörinä, mutta erosi tehtävästä, kun keisarikunta siirtyi itsevaltiudesta perustuslailliseen hallintoon. Kun Frans Joosefin ainoa poika Rudolf teki itsemurhan vuonna 1889, siirtyi kruununperimysoikeus Kaarle Ludvigille ja hänen jälkeläisilleen. Hän kuoli vuonna 1896 myrkytykseen, jonka hän oli saanut juotuaan puhdistamatonta vettä Jordanjoesta ollessaan pyhiinvaelluksella Pyhällä maalla.