I senere intervjuer hevdet Fields selv at han rømte permanent hjemmefra som elleveåring, etter et voldsomt slagsmål med sin far, og videre at han i mange år levde som sulten vagabonde. Intervjuer med komikerens søster tyder imidlertid på at han hadde en mer stabil oppvekst enn hva han selv hevdet, og at han flyttet hjemmefra først i slutten av tenårene. Ifølge Fields' barnebarn, Roland J. Fields, er det imidlertid riktig at Fields ofte kranglet med sin far i oppveksten. Hva som også er hevet over enhver tvil, er at Fields' familie ofte gjennomgikk skrale tilstander økonomisk; faren jobbet hovedsakelig som frukthandler, noe som ikke alltid var økonomisk fruktbart.