Han vokste opp på slektsgården Vestre Arnstad på Skatval. Faren Peder J. Arnstad var ordfører og fylkesordfører. Morbroren Johan A. Vikan var ordfører, fylkesordfører, stortingsmann og formann i Norges Bondelag. Per Magnar Arnstad var farbror til Sp-politikerne Eli og Marit Arnstad og til medielederen Ellen Arnstad.