Ingenting er kjent om Ockeghems tidligste liv, men som de fleste av tidens musikere startet han sin musikalske løpebane som korgutt. Fra 24. juni 1443 til 24. juni 1444 sang han under Jean Pullois ved Notre Dame-kirken i Antwerpen. På denne tida var han sannsynligvis ikke geistlig og deltok uregelmessig under oppføringene. Fra 1446 til 1448 kan det dokumenteres at han var ved kapellet til hertug Karl I i Moulins.