Duke ble født i Tulsa i Oklahoma. Som sønn av ingeniør for oljeselskapet Shell flyttet han ofte rundt i verden, og bodde en stund i Nederland før familien bosatte seg i Louisiana.