Cassanos far forlot moren like etter at Cassano ble født, og far og sønn har ikke kontakt i dag. Da han var liten, var Internazionale favorittlaget, og fram til han var 13 år, spilte han for guttelaget Pro Inter. Deretter ble han tatt opp i ungdomsavdelingen til AS Bari. I desember 1999 debuterte Cassano for A-laget mot Lecce, og uken etter scoret han sitt første Serie A-mål mot Internazionale som AS Bari vant 2-1.