Alfred Brendel vart fødd i landsbyen Wiesenberg i Tsjekkoslovakia. Landsbyen heiter i dag Loučná nad Desnou og ligg i regionen Olomouc i Tsjekkia. Som seksåring flytte familien Brendel til Zagreb i det noverande Kroatia. Under andre verdskrigen budde dei i Graz i Austerrike. Fjortenårige Alfred Brendel vart då sendt til Jugoslavia for å grava skyttargraver, men då han vart frostskadd vart han sendt på sjukehus. Brendel hadde fått pianoundervisning frå han var seks år gamal, og frå han var 14 studerte han piano og komposisjon ved konservatoriet i Graz i to år. Som pianist var han likevel stort sett sjølvlært.