Oscar Peterson ble født i det fattige St. Henri-området i Montreal. Foreldrene var Daniel Peterson, jernbanearbeider, og Olivia John. Faren innvandret fra Karibia og var selvlært organist. Moren hadde også karibisk bakgrunn og oppmuntret sønnen til å studere musikk. Oscar Peterson lærte å spille trompet og piano som barn. Etter behandling for tuberkulose mente faren at han burde konsentrere seg om piano for ikke å belaste lungene.