Han ble døpt som . Foreldre var kjøpmann Pierre Louis Brion og Marie Detrox, begge fra Belgia. De kom i Curaçao i 1777. Pedro/Philippe dro i 1794 til Nederland for å fullføre sin utdannelse. Mens han var der, deltok han i kampen for å forsvare den bataviske republikk mot en britisk invasjon av det nordlige Nederland.