Caffery begynte sin karriere i internasjonalt diplomati i 1911, under William Howard Tafts presidentperiode, da han ble annensekeretær ved den amerikanske ambassade i Caracas i Venezuela.