von Neurath tjänstgjorde från 1901 vid "Auswärtiges Amt". Han deltog i första världskriget, där han i december 1914 mottog Järnkorset, men hemförlovades 1916, efter att ha sårats allvarligt. År 1918 blev han kabinettschef hos kung Vilhelm II av Württemberg. Efter första världskriget återvände han till utrikesförvaltningen och var tysk minister i Köpenhamn 1919–1921, ambassadör i Rom 1921–1930 och därefter i London till 1932. Han utnämndes till utrikesminister 2 juni 1932 och kvarstod i denna kapacitet även efter Hitlers maktövertagande året därpå. Det faktum att han var friherre, diplomat och partipolitiskt obunden gav Tredje rikets utrikespolitik under dess första år ett sken av anständighet. Denna chimär blev dock alltmer svår att upprätthålla i takt med att Tysklands utrikespolitik ökade i aggressivitet. I strid med bestämmelserna i Versaillesfreden skedde en militär upprustning från 1935, allmän värnplikt infördes och Rhenlandet, som enligt Versaillestraktaten skulle förbli demilitariserat, besattes i mars 1936. Samma år slöts vänskapsavtal med Italien (Rom-Berlinaxeln, föregångare till stålpakten) och Japan (Antikominternpakten). Från samma år deltog även tyska trupper i spanska inbördeskriget på Francos sida.