Er verbrachte seine Kindheit in der Kommune La Sauvagère im Départment Orne im Nordwesten Frankreichs. Im Alter von zwölf Jahren musste er die Schule verlassen, um seinen Eltern bei der Feldarbeit zu helfen. Mit fünfzehn Jahren sollte er in Paris Pâtissier werden. Aufgrund einer zweijährigen Erntekrise bald wieder entlassen, verpflichtete sich Brisset 1855 zu siebenjährigem Militärdienst und nahm noch im selben Jahr am Krimkrieg teil. 1859 wurde er während des Italien-Feldzuges Napoléons III. in der Schlacht bei Magenta am Bein getroffen und nutzte die Zeit der Genesung, um Italienisch zu lernen. Im Deutsch-Französischen Krieg wurde er als Unterleutnant des fünfzigsten Infanterieregiments in der Schlacht von Sedan am Kopf verwundet und als Kriegsgefangener nach Magdeburg verbracht. Dort eignete er sich rasch die deutsche Sprache an.