Murphy startet sin diplomatiske karriere i 1917 som medlem av den amerikanske legasjonen i Bern i Sveits. Blant de mange posisjoner som han hadde var visekonsul i Zürich og München, konsul i Paris fra 1930 til 1936 og chargé d'affaires i Vichy-Frankrike. Han var State Departments spesialist på Frankrike.