Neurath var født i Kongeriket Württemberg i en schwabisk lavadelsfamlie som sønn av godseieren, politikeren og kammerherren Konstantin Sebastian von Neurath. Han studerte juss ved Eberhard-Karls-Universität Tübingen og ved Humboldt-Universität zu Berlin. Etter avlagt eksamen arbeidet han ved et lokalt advokatkontor i hjembyen, men gikk inn i offentlig tjeneste i 1901 da han ble ansatt ved det tyske utenriksdepartementet i Berlin. I perioden 1903 til 1914 tjenestegjorde han ved den tyske ambassaden i London, og deretter som ambassaderåd i Konstantinopel.