Jabarkan Kehidupan awal dari J Dilla

James Yancey lahir di Detroit, Michigan dari orang tuanya yang berasal dari New York. Dia adalah anak tertua dari empat bersaudara. Saudara laki-lakinya, John ikut terjun dalam musik dengan nama panggung Illa J. Keluarganya tinggal di sebuah rumah dekat McDougall dan Nevada, di sisi timur Detroit. Orangtuanya memiliki latar belakang musik. Ibunya, Maureen “Ma Dukes” Yancey, adalah mantan penyanyi opera sedangkan ayahnya, Beverly Dewitt Yancey, merupakan seorang bassis jazz yang pernah tampil untuk Globetrotters selama beberapa tahun. Sejak bayi belum bisa berbicara, James sudah bisa "mencocokkan harmoni nada yang sempurna", menurut keterangan ibunya.

James mengembangkan minatnya pada musik hip hop. Setelah pindah dari Davis Aerospace Technical High School ke Pershing High School, dia bertemu teman sekelasnya T3 dan Baatin, yang kemudian berteman baik dan membentuk grup rap bernama Slum Village. Ia juga mengambil posisi sebagai pembuat beat menggunakan tape deck sederhana sebagai pusat studionya. Selama masa remajanya, dia "tinggal di ruang basement sendirian" dengan tujuan melatih dirinya sendiri untuk menghasilkan berbagai macam beat dengan koleksi rekamannya yang terus bertambah.