Egli divenne proprietario quindi del 36º reggimento di fanteria che da lui prese il nome di "Kollowrat" nel 1801. Nello stesso anno egli divenne membro del Consiglio Aulico di Guerra. Egli guidò 9.500 austriaci della 4ª colonna durante la Battaglia di Austerlitz nel 1805. Avanzando verso l'altopiano di Pratzen, le sue forze si trovarono coinvolte nel principale attaccod di Napoleone durante lo scontro. Dopo pesanti combattimenti con il maresciallo di Francia Nicolas Jean-de-Dieu Soult.