Entre 1874 y 1877 intentó en varias ocasiones derrocar a los gobiernos de Manuel Pardo y de Mariano Ignacio Prado, en la última de las cuales abordó el monitor Huáscar con el que enfrentó con éxito a dos buques de la marina británica en el combate de Pacocha. Pero derrotada su intentona golpista, tuvo que exiliarse en Bolivia y Chile. En 1879, con el inicio de la Guerra del Pacífico y la ausencia del presidente Mariano Ignacio Prado, dio un golpe de estado y se alzó con el poder, en calidad de Jefe Supremo de la República. Organizó la defensa de Lima amenazada por el avance de las tropas chilenas, pero sufrió las derrotas de San Juan y Miraflores, tras lo cual los chilenos ocuparon Lima, en enero de 1881. Posteriormente, Piérola estableció su gobierno en la sierra peruana, pero dimitió en noviembre de dicho año. Su desempeño como dictador durante la guerra con Chile ha sido muy cuestionado, y no falta quienes le hacen responsable directo de las derrotas en la defensa de Lima.