På julaften 1771 giftet Per seg med den 26 år yngre Maren Juel, søster av Jacob Juel, som i 1774 ble Holters etterfølger som kasserer i Zahlkassen. De var gift til han døde i 1786, men fikk ingen barn. Hustruen arvet hele hans gods, bortsett fra et legat på 2 000 riksdaler for trengende enker og forhenværende arbeidere ved Hafslund, og et legat på 4 000 riksdaler til et kornmagasin til fødebygden Odalen, for å sikre folkets tilgang til korn i nødstider. Kornmagasinet fra 1791 ble senere flyttet til Odalstunet i Sør-Odal.