Guillaume syntyi Lontoossa työskennelleen sveitsiläisen kellosepän poikana. Perheen muutettua takaisin kotimaahan, hän opiskeli 1860-luvulla Zürichin yliopistossa filosofiaa ja kirjallisuutta. Guillaume kiinnostui myös työväenliikkeestä ja oli vuonna 1866 mukana perustamassa ensimmäiseen internationaaliin liittynyttä sveitsiläistä osastoa. Kahta vuotta myöhemmin hän alkoi julkaisemaan "Le Progrès" -lehteä, joka oli ensimmäinen maassa ilmestynyt anarkistinen lehti. Vuonna 1871 Guillaume perusti anarkistisen Juran federaation, johon kuului lähinnä Juran kantonin alueella työskenteleviä kelloseppiä. Seuraavana vuonna järjestetyssä Haagin kongressissa hänen ryhmällään oli merkittävä osuus ensimmäisen internationaalin hajoamiseen, kun Juran federaatio kannatti Karl Marxia vastustanutta Mihail Bakuninia. Pian Haagin kongressin jälkeen Guillaume ja Juran federaatio kutsuivat koolle oman kokouksen, jossa perustettiin Anarkistinen internationaali.