Kolstad ble født på Kjølstad i Borge, i dagens Fredrikstad kommune, i 1878, som sønn av bonde Olaus Pedersen Kolstad (1839–1911) fra Tune og Anne Kirstine Pettersen Lilleborge (1851–1940). Peder Kolstad tok eksamen ved Kalnes landbruksskole i Tune i 1899 og ved Norges landbrukshøyskole i 1902. Han var lærer og gårdsfullmektig ved Kalnes landbruksskole i 1902, lærer ved Bjørnetrø landbruksskole i Aust-Agder 1902–1904 og ansatt ved Sem landbruksskole i Asker i 1904. Fra 1905 var han igjen ansatt ved Kalnes landbruksskole, som andrelærer 1905–1909, førstelærer 1909–1912, konstituert bestyrer 1912–1913 og bestyrer fra 1. januar 1913.