Tehetős családban nevelkedett, hiszen apja, idősebb Ben Pon a Volkswagen amerikai importőre volt. Közeli barátságot ápolt honfitársával, Carel Godin de Beauforttal, aki akkoriban az Formula–1-ben szerepelt, és már saját csapatát is felállította, amelyben vásárolt Porschékkal versenyzett. 1962-ben aztán Pon számára is eljött a lehetőség, hogy Beaufort egyik autójával kipróbálja magát a Formula–1-ben, ezt pedig hazai pályáján, Zandvoortban tehette meg, az egyetlen olyan évben, amikor a Holland Nagydíj szolgált szezonnyitóként.