Latour nació en Linz, siendo el hijo del Conde Maximilian Anton Karl Baillet de Latour (1737-1806), "Feldmarschall-Leutnant" en el servicio austriaco durante las Guerras revolucionarias francesas de ascendencia valona. Después de recibir formación militar e ingenieril en la Academia Militar Teresiana, entró en el cuerpo de ingenieros en 1799 y se convirtió en miembro del estado mayor general austriaco en el Ejército Imperial y Real en 1804. Latour tomó parte en varias campañas militares de las Guerras Napoleónicas en las que se distinguió y fue altamente condecorado.