Durante o mandato de Bush, foi nomeado Secretário de Estado, participando na política externa da administração no Médio Oriente, especialmente durante a guerra do Golfo Pérsico, e continuou a aproximação com a União Soviética governada por Mikhail Gorbachev. Em 1991, organizou a primeira conferência de paz do Médio Oriente. Deixou o cargo de Secretário de Estado em 1992 para dirigir a campanha falhada para reeleição de Bush. Posteriormente, Baker converteu-se em assessor comercial, até Março de 1997, quando foi nomeado pelo secretário-geral da Organização das Nações Unidas (ONU), Kofi Annan, como enviado especial desse organismo para o conflito do Saara Ocidental, iniciando a sua visita à região em 22 de abril. Conseguiu convocar uma reunião em Lisboa entre representantes de Marrocos e da Frente Polisário, em Junho, que acabou sem qualquer acordo. Mas uma segunda ronda de conversações, iniciada em Londres um mês mais tarde, permitiu que ambas as partes (marroquinos e saarauis) aceitaram una proposta de compromisso para desbloquear o contencioso sobre a identificação dos votantes do referendo de autodeterminação. No entanto, em 2004 abandonou definitivamente este cargo, resignado pela falta de progresso nas negociações.