Caracciola begynte med racing mens han jobbet som lærling på en bilfabrikk i 1920-årene. Først begynte han med motorsykler og deretter med sportsbiler. Mens han kjørte for Mercedes-Benz vant han sine to første Hillclimbing EM i 1930 og 1931. Han byttet deretter til Alfa Romeo i 1932 og da vant han Hillclimbing VM for tredje gang. I 1933 etablerte han racingteamet Scuderia CC med sine kollega og racersjåfør Louis Chiron. På grunn av et krasj med bilen under Monaco Grand Prix fikk han flere brudd i det høyre låret. Noe som gjorde at han måtte slutte med racing i over enn et år.