En 1864 cesó Vargas en el mando de Santo Domingo, y al año siguiente las tropas españolas evacuaron definitivamente aquella isla. En 1867, ocupando el poder González Bravo, Vargas fue nombrado capitán general de las Provincias Vascongadas. Se esforzó en evitar la revolución de Septiembre, y después de la batalla de Alcolea aun intentó reponer en su trono a Isabel II, pero viéndolo imposible la acompañó hasta la frontera, emigrando con ella a Francia. Allí, después de la abdicación de Isabel II, Vargas ofreció su espada a Carlos de Borbón y Austria-Este, que había alzado la bandera del monarquismo tradicional.