Colomer vokste opp i Paris og oppdaget tolv år gammel det anarkistiske idealet da han ble undervist i Émile Zolas forfatterskap. Han gikk på gymnas i Bordeaux, tok den forberedende skolen Louis-le-grand i Paris for å kvalifisere seg til École normale supérieure, men lyktes ikke. Han avtjente isteden militærtjeneste i Perpignan i 1906.