Han ble født i den lille byen Lower Broadheath utenfor Worcester i Worcestershire i England. Foreldrene var William Elgar, en pianostemmer og musikkhandler, og hans kone Ann. Edward var den fjerde i rekken av seks barn. De tre brødrene het Henry, Frederick og Francis, og de to søstrene Lucy og Susannah. Moren hadde konvertert til katolisismen kort før Edwards fødsel, og han ble døpt og oppfostret som katolikk, til farens misbilligelse - han hadde forsåvidt noe imot alle trossamfunn.