Peder I. Ramsrud var født i Fåberg, og var sønn av Ingvald Ramsrud (1900–1980) og Margit f. Sagbakken (1901–1990). Da Peder var smågutt, flytta de til bruket Ramsrud på Biri. Noen år seinere begynte familien med bureising på stedet Skogly. Faren Ingvald Ramsrud var også aktiv politiker og satt i Biri herredsstyre for Kristelig Folkeparti.