Harris vokste opp i Yorkshire, der Harris' foreldre begge var fransklærere på den lokale pikeskolen i Barnsley. Moren var fransk og faren engelsk. Frem til Joanne Harris var tre år gammel bodde familien i annen etasje over godtebutikken som besteforeldrene hennes drev. Da foreldrene giftet seg, behersket ikke moren engelsk, og frem til Joanne begynte på skolen snakket hun bare fransk. I hennes fars familie i Yorkshire var det ingen som snakket fransk, og i hennes familie i Bretagne var det ingen som snakket engelsk. Begge familier hadde turbulente historier og en tradisjon med sterke kvinner, kjøkkenhage, historiefortelling, folkeminne og matlaging.