Matson gikk på City College of San Francisco før han gikk til University of San Francisco. I 1951, som senior på USF, ledet Matson landet i yards og touchdowns på løp, og hans lag gikk gjennom sesongen ubeseiret. Han ble utpekt til All-American og var #9 i avstemningen for Heisman-troféet.