Alfredo Kraus var sønn av en spansk mor og en østerriksk far. Han fikk pianoundervisning allerede fra fire års alder og sang som åtteåring i skolekoret. Etter et påbegynt ingeniørstudium besluttet han å slå inn på en sangkarriere. Han studerte først i Spania, og avsluttet utdannelsen hos den kjente spanske sanger og sangpedagog Mercedes Llopart i Milano. I 1958 debuterte på scenen i Kairo som hertugen i Mantova (Giuseppe Verdis ), som ble en av hans mest kjente roller. I Lisboa følgende år sang han Alfredo i sammen med Maria Callas som det senere ble gjort et liveopptak av.