Den 18. september 1960, Buffalos første hjemmekamp som endte i et 27–21 tap mot Denver Broncos, ble Carlton historisk i andre kvarter da han scoret Buffalos første touchdown noensinne med et løp på 1 yard. I løpet av sin første sesong i Buffalo hadde Carlton totalt 1 010 yards fra scrimmage, 533 på løp og 477 fra pasninger. Carlton valgte å pensjonere seg etter 1963-sesongen, men signerte ny kontrakt med Bills i juli 1964.