Malgré une avance dans les sondages après les primaires et la présence de Michael Easley, visant un second mandat de gouverneur à la tête du bulletin démocrate de l’État, Bowles est également battu à l’élection de 2004 (47 % contre 52 %). La victoire confortable de Bush en Caroline du Nord a probablement considérablement aidé Burr. Au cours de son discours de défaite au quartier général de Raleigh, Bowles remercie ses partisans mais semble indiquer qu’il ne se représentera plus. Citant son père il dit qu’il y a "" () et qu’un mandat électoral n’est que l’un d'entre eux. Effectivement, en 2005 Bowles accepte un poste d’adjoint de l’envoyé spécial des Nations unies pour les pays atteint par le tsunami, travaillant de nouveau pour Bill Clinton qui est l’envoyé spécial.