1902 wurde Herbert zum Generalkonsul in Budapest bestimmt. In Darmstadt im Großherzogtum Hessen und Karlsruhe im Herzogtum Baden war er von 1903 bis 1905 Geschäftsträger. Nachdem Norwegen 1905 seine Unabhängigkeit von der Union mit Schweden erlangt hatte, wurde er am 27. Oktober 1905 zum außerordentlichen Gesandten und Ministre plénipotentiaire in Christiania ernannt. In der Nähe der norwegischen Hauptstadt überschlug sich seine Kutsche, wobei er sich ernstlich verletzte. Am unterzeichnete er die Norwegen-Vereinbarung. 1910, zu Beginn der Mexikanischen Revolution, wurde er nach Mexiko beordert. 1913 ging Herbert in den Ruhestand.