Elszakította és teljesen elszigetelte édesanyjától, Erzsébettől, akinek szellemi befolyását károsnak tartotta. Rudolf jelleme, színes érzelmi világa, érzékeny lelki alkata azonban Erzsébetéhez és a Wittelsbachokhoz hasonlított, nagyanyja pedig éppen ezt a szabadabb világfelfogást akarta – kemény módszerekkel – kinevelni a fiúból. Rudolfot nem sokkal hatodik születésnapja után elválasztották dajkájától, Caroline Weldentől (akit Ő csak Wowónak becézett) és saját udvartartást kapott, udvarmesterrel együtt, aki egyben nevelője is lett. A nevelésével megbízott személy Leopold Gondrecourt gróf lett. Gondrecourt 1864-ben Schleswigben vezetett hadjáratot egy osztrák dandárral a dánok ellen, akiket látványos akcióban vert meg a Királydombnál. Hosszú ideje nem aratott ilyen sikert Ausztria, ezért is határozta el Zsófia és Ferenc József, hogy a kőkemény és szívtelen grófot, a „vasdandár” parancsnokát fogja Rudolf nevelőjévé tenni. A gróf a gyenge és ideges természetű gyermeken a legszigorúbb katonai kiképzési módszereket alkalmazta, éjszaka pisztolylövésekkel felriasztotta, hosszú éjszakai menetekre vagy az esőben való álldogálás elviselésére kényszerítette. E pedagógiai balfogások súlyosan veszélyeztették a fiú testi-lelki fejlődését, amit Gondrecourt beosztottja, Latour szóvá tett Erzsébetnél, aki 1865-ben egy ultimátumszerű fogalmazványt juttatott el Ferenc Józsefhez, melyben gyermekei ügyeit illetően korlátlan hatalmat kért.