Per Andersen Holter studerte teologi og økonomi og tok studenteksamen ved Christiania katedralskole i 1741. Han studerte ved flere utenlandske universiteter. Moren var i slekt med flere av Kristianias fremste handelsfamilier, som Leuch, Collett, Elieson, Anker og andre, og sønnen arvet en betydelig formue etter sine foreldre. Hans viktigste handelsområde var trelast, og gjennom hele sitt voksne liv var han en av byens ledende kjøpmenn.