Diplomacii se věnoval od 21 let, nejprve ve Vietnamu a Maroku. V letech 1993 až 1994 byl americkým velvyslancem v Německu. Světové proslulosti dosáhl, když společně se švédským ministrem zahraničí Carlem Bildtem vyjednal Daytonskou mírovou dohodu mezi bojujícími frakcemi války v Bosně v roce 1995. Bývalý bosenskosrbský vůdce Radovan Karadžić ho později obvinil, že dohodu prosadil výměnou za záruky beztrestnosti pro něj (Karadžiče), Holbrooke to odmítl.