Paderewski kom fra den delen av det polske område som den gang var del av Tsarrussland og fra 1990-årene er blitt del av Ukraina. Det var et område der hans far, Jan Paderewski, virket som bestyrer av store landeiendommer. Hans mor Poliksena, født Nowicka, døde noen måneder etter at gutten var født. Faren ble fengslet for å ha deltatt i januaroppstanden og en tante overtok omsorgen for Paderewski.