Rauchs far var ingeniørkaptein i Braunschweigs ingeniørkorps, og sønnen gikk i farens fotspor da han i 1788 begynte på et ingeniørakademi i Potsdam hvor faren på dette tidspunktet var lærer. 6. april 1790 ble Rauch beskikket til løytnant og høsten 1796 ble han utstasjonert i Schlesien i beredskap i tilfelle det brøt ut krig i tilknytning til Polens tredje deling.