Driskell var født i Georgia men bodde så fra fem års alder i vestre North Carolina. Driskell dro derfra til Maine, der han utdannet seg ved med eksamen i 1953. Så studerte han kunst ved Howard University, der han tok bachelor i 1955. I 1962 tok Driskell graden ved Catholic University of America.