Du Pont var en ivrig samler på mange områder. Frimerkesamlingene av Britisk Nord-Amerika og Samoa var svært anerkjente. På utstillinger oppnådde du Pont fem internasjonale Grand Prix, noe som er svært uvanlig innen filatelien. Mest kjent på dette området er han nok likevel som mangeårig eier av verdens dyreste frimerke, British Guiana 1c magenta. Han kjøpte det for rundt en million dollar i 1980. Etter hans død blei det i 2014 solgt for 9,5 millioner dollar.