En 1862, al asumir la presidencia, Mitre lo nombró su ministro de Relaciones Exteriores."El juicio histórico reconoce en Rufino de Elizalde al primer ministro de relaciones exteriores del país, tanto en orden cronológico como en el de la competencia personal; los pleitos y rencillas internas dejados por Rosas y por el gobierno de la Confederación y las cuestiones de límites, fueron tratados y resueltos con maestría: los tratados con España, Chile, Bolivia y el de la Triple Alianza son muestra elocuente de la categoría de su gestión ministerial, que se tradujo, en última instancia, en el establecimiento de una verdadera línea política internaciones de que hasta entonces se carecía."Durante su mandato en el ministerio se produjo la guerra de la Triple Alianza, Elizalde firmó con los representantes de Brasil y Uruguay el Tratado de Triple Alianza, que en su parte pública declaraba que se estaba en guerra contra López, no contra el Paraguay.