Dudley Moore ble født i Dagenham i Essex i England. Foreldrene tilhørte arbeiderklassen, og de skal ifølge hans søster ha vist liten hengivenhet for ham. Han var lav, bare 1,59 m og var i tillegg født med klumpfot som krevde mange sykehusbehandlinger.