I 1953 ble Conant utnevnt til High Commissioner i Vest-Tyskland for å overvåke gjeninnføringen av tysk suverenitet, og var i årene 1955–1957 var han USAs første ambassadør der.