Pedersen vant en olympisk sølvmedalje i boksing under Sommer-OL 1924 i Paris. Han kom på andreplass i den nest tyngste vektklassen lett tungvekt (79,4 kg). Det var tjue boksere fra fjorten nasjoner i denne vektklassen. Pedersen tapte i finalen til britiske Harry Mitchell.