Frederick tilbrakte mesteparten av livet i utlandet, og siden faren ikke var spesielt interessert i at Frederick skulle starte en karriere innen musikk, ble Frederick først sendt til Florida, USA, der han forsøkte seg på å dyrke appelsiner. Tross farens motvilje, studerte Frederick musikk mens han drev appelsinfarmen, og i 1888 flyttet han til Leipzig i Tyskland, der han fortsatte på musikkstudiene sine på konservatoriet. I Leipzig ble han i desember 1887 kjent med Grieg som aktivt bidro til at Delius kunne etablere seg som komponist.