Han tilhørte den svenske adelsslekten Svinhufvud af Qvalstad, adlet i 1574. Slektens finske gren begynte med løytnant , som bosatte seg på Rapola i Sääksmäki etter krigen 1700-21. Pehr Evinds far, sjøkapteinen , druknet da sønnen var to år gammel. Etter at farfaren skjøt seg og gården ble solgt på tvangsauksjon, flyttet Pehr Evind, moren og søsteren til Helsingfors, hvor moren kjempet seg fram som eneforsørger.