Casso ble født i South Brooklyn som det yngste av tre barn. Hans foreldre var Michael og Margaret Casso (født Cucceullo). Deres foreldre var innvandret fra den italienske landsdelen Campania. Cassos dåpsfadder var Salvatore Callinbrano, medlem av mafiaen og i Genovese-familien, som hadde sterk innflytelse i Brooklyns havn. Casso sluttet på skolen da han var 16 år og sluttet seg til ungdomsbanden South Brooklyn Boys. Han øvde seg i omgangen med skytevåpen og arbeidet som pengeinndriver.