Sine første år tilbragte han ved keiser Ferdinand Is og keiser Maximilian IIs hoff. Den siste falt litt utenfor familiens rammer ved sin velvillighet overfor protestanter. Rudolf tok sterkt inntrykk av den kunsteriske atmosfære ved hoffet. For å holde Rudolf på avstand fra mulig protestantisk innflytelse presset særlig Filipp II på at han trenge tid borte fra farens hoff. Dermed kom han sammen med broren Ernst til det spanske hoff - der var de fra 1563 til 1571. Dette var ikke bare med tanke på den katolske oppdragelse, men også andre aspekter av familiepolitikk. Man ville dempe de spenninger som var begynt å gjøre seg gjeldende mellom habsburgernes østerrikske og spanske gren. Den hadde ført til gnisninger blant annet i Italia. Idet Filipp II på den tid ikke hadde noen mannlig arving - for Don Carlos ble ikke ansett som regjeringsdyktig - forelå muligheten av Rudolf måtte bli hans etterfølger. En annen grunn var at han var blitt forlovet med infantine Isabella Clara Eugenia.