White wuchs in West Yorkshire auf; seine Familie zog in seinen Jugendjahren nach Paris und hoffte auf die Fortführung des Textilgeschäftes. Während des Zweiten Weltkrieges arbeitete White als Übersetzer und erlitt bei der Evakuation von Dünkirchen ernsthafte Verletzungen. Zurück im Zivilleben – das Textilgeschäft war bankrottgegangen – verdiente sich White seinen Lebensunterhalt mit Klavierspiel in Nachtclubs und Cabarets.