Kejser Franz Joseph 1. af Østrig-Ungarn tildelte Conrad adelstitlen Freiherr i 1910. Hans modsætninger med udenrigsminister grev Alois Lexa von Aehrenthal under Bosnienkrisen førte til hans afsked i 1911, under dække af en affære med hans senere hustru Virgina Reininghaus. Efter at Aehrenthal var trådt tilbage og død året efter, talte ærkehertug Franz Ferdinand for en genudnævnelse af Conrad, hvilket skete udner 1. Balkankrig i december 1912.