Durante el mandato de Bush, fue nombrado Secretario de Estado, participando en la política exterior de la administración en Oriente Próximo, especialmente durante la guerra del Golfo Pérsico, y continuó el acercamiento con la Unión Soviética gobernada por Mijaíl Gorbachov. En 1991, organizó la primera conferencia de paz de Oriente Próximo. Dejó su cargo de secretario de Estado en 1992 para dirigir la infructuosa campaña para la reelección de Bush. Posteriormente, Baker se convirtió en asesor comercial, hasta que, en marzo de 1997, fue nombrado por el secretario general de la Organización de las Naciones Unidas (ONU), el ghanés Kofi Annan, enviado especial de dicho organismo para el conflicto del Sáhara Occidental, iniciando su visita a la región el 22 de abril. Logró convocar una reunión en Lisboa (Portugal) entre representantes de Marruecos y del Frente Polisario, en el mes de junio, que acabó sin acuerdo alguno. Pero una segunda ronda de conversaciones, iniciada en Londres un mes más tarde, permitió que ambas partes (marroquíes y saharauis) aceptaran una propuesta de compromiso para desbloquear el contencioso sobre la identificación de los votantes del referéndum de autodeterminación. Sin embargo en 2004 abandonó definitivamente este cargo, resignado por la falta de progreso en las negociaciones.