Asbjørn Halvorsen vokste opp i en hjørnegård i Sarpsborgs gågate; her drev familien Norges største konditori. Da Halvorsen var 5 år ble Sarpsborg FK stiftet. Klubben etablerte seg raskt i toppen, og kom til cupfinalen i 1906 og 1907. Men det var Halvorsen som skaffet klubbens første kongepokal. Han debuterte for klubben som 17-åring, og viste tidlig lederegenskaper som gjorde at han ble valgt til kaptein. Fortsatt har han rekorden som yngste lagkaptein i en cupfinale, da han 18 år gammel ledet Sarpsborg til seier med 4-1 mot Brann i 1917. Dette var den første cupfinalen på gress, og det første åpne NM hvor alle lag fikk delta, ikke bare kretsmestre.