Bourillon wuchs im südfranzösischen Marmande auf und bestritt zunächst erfolgreich Junioren-Rennen in seiner Heimat. 1895 hatte er seine ersten Erfolge auf nationaler Ebene, als er bei den Sprint-Klassikern Grand Prix de Paris Platz zwei und Grand Prix de l’UVF Platz drei belegte. 1896 wurde er in Kopenhagen Weltmeister im Bahnsprint sowie britischer Meister über 15 Meilen, 1897 und 1899 französischer Meister im Sprint. Den Grand Prix Turin, einen der ältesten Wettbewerbe im Bahnradsport, gewann er 1897. 1898 gewann er den "Grand Prix de Paris"; allein in diesem Jahr errang er 62 Siege auf verschiedenen Bahnen in ganz Europa und gewann nur ein Rennen nicht, als er Zweiter wurde. In jenem Jahr gab der Weltradsportverband Union Cycliste Internationale (UCI) seine Erlaubnis für einen Vergleichskampf mit dem Weltmeister der Amateure, dem Deutschen Paul Albert. Das Rennen fand in Hannover statt, nach drei Läufen gewann Bourillon, der Albert später als seinen stärksten Gegner bezeichnete. Den Grand Prix d’Anvers gewann er 1899"."