Herder ble født i Mohrungen i Østpreussen som sønn av presten Gottfried Herder og skomakerdatteren Elizabeth Pelz. Han vokste opp sammen med to søstre. Oppvekstmiljøet var svært gudfryktig, og det ble lest flittig i Bibelen. Herder utmerket seg tidlig, og skolelæreren ga ham derfor privatundervisning i gresk og hebraisk. Foruten interessen for språk viste gutten også musikalske evner og utmerket seg i musikk og sang.