Delius' foreldre, Julius og Elise Pauline Delius flyttet fra Bielefeld i Tyskland til Bradford i England før Frederick ble født. Der etablerte de seg i ullbransjen.