Sylow leste matematikk helt fra skoledagene, og i 1856 tok han reallærereksamen etter å blant annet ha vunnet H.K.H. Kronprinsens gullmedalje 1853 på avhandlingen «Hvilke Kurver beskriver Skyggen af et fast Punkt (en Gnomon) paa et horizontalt Plan, naar Punktets Højde over Planet, Solens Deklination og Stedets Polhøjde antages som bekjendte?». Da det ikke var noen ledige stillinger ved Universitetet i Oslo jobbet han først et par år ved Hartvig Nissens skole, før han ble overlærer i Halden 1858–1898. Han ble elev av Ole Jacob Broch, som fikk ham til å utforske Niels Henrik Abels arbeider om elliptiske funksjoner. Etter hvert ble han mer interessert i Abels likningsteoretiske arbeider. Sammen med Sophus Lie ga Sylow ut Niels Henrik Abels samlede verker. Etter råd fra Carl Anton Bjerknes ble han også kjent med arbeidene til Évariste Galois og Leopold Kronecker. Slik gikk det til at Sylow i 1861–62 var den første som foreleste Galois-teorien i Norge, da han vikarierte for Ole Jacob Broch som måtte på Stortinget. Omtrent på denne tiden kom han frem til flere viktige resultat for egenskapene til endelige grupper. De kan summeres opp i hans tre teorem for disse matematiske strukturene.