Da partiet ble reorganisert i 1904 og ble , ble Viviani, likesom sosialisten Aristide Briand, stående utenfor. Han kalte seg i det følgende og var fra 1906 med i flere regjeringer.