I 1903 ble Czernin medlem av Bøhmens underhus (tysk offisiell betegnelse: Landtag des Königreiches Böhmen) som representant for . Han ble raskt en forkjemper for konservatisme, forsvarte monarkisme og motsatte seg alminnelig stemmerett og parlamentarisme. Det førte til at tronarvingen, erkehertug Franz Ferdinand av Østerrike-Este, ble oppmerksom på han. Som et ledende medlem av Franz Ferdinands omgangskrets (kjent som Belvedere-gruppen), ble Ottokar Czernin utnevnt som medlem av det østerrikske overhuset (tysk: Herrenhaus) i 1912. Czernin utarbeidet en rekke ekspertrapporter på oppdrag fra tronarvingen, emnet var hovedsakelig problemet med etniske skiller i keiserriket. Czernin hevdet dette måtte løses ved økt sentralisering, basert på de transnasjonale tradisjonene i det østerrikske aristokratiet.