Carlsrud var født i Kjose i Vestfold og vokste opp i Porsgrunn. Han deltok i «Ekstralekene» 1906 i Athen og OL 1908 i London, og var i 1906 med på det laget som vant Norges første OL-gull gjennom historien. Da han igjen deltok i lagkonkurransen i 1908 fikk han sølv.