Som utsending for Østerrike-Ungarn i București skulle Czernin blant annet undersøke holdbarheten av alliansen med Romania og muligheten for å utvide den. Han meldte imidlertid snart tilbake til Wien at man ikke kunne stole på avtalen med regjeringen i Romania hvis det brøt ut krig. Etter utbruddet av første verdenskrig i august 1914 arbeidet han for å holde Romania nøytralt, blant annet med støtte fra den aldrende kong Carol. De fleste rumenerne delte ikke kongens sterke pro-tyske følelser, inkludert statsministeren Ion I. C. Brătianu og hans regjering. Ottokar Czernin anbefalte overfor regjeringen i Wien at Østerrike-Ungarn skulle tilby tilbaketrekking fra Siebenbürgen (dagens Transilvania) og fra deler av Bukovina for å overtale Romania til å fortsatt holde seg nøytral, men forslaget ble sterkt imøtegått av den ungarske regjeringen. Romania sluttet seg til ententemaktene i august 1916 og Ottokar Czernin vendte tilbake til Wien.