જેમ્સ, ગિલેસ્પીના પિતા, બેન્ડલિયર હતા, પરંતુ ડીઝી સૌથી વધુ સ્વ-શીખવવામાં આવતી હતી તેમણે 12 વર્ષની વયે જ્યારે ટ્રૉમ્બોન અને ટ્રમ્પેટ રમવાનું શીખવાનું શરૂ કર્યું; ત્યારબાદ તેણે ટોંગેટ અને પિયાનો લીધો.