Joyner kasvas üles problemaatilises perekonnas Virginia osariigi Richmondi linnas. Ta ei käinud keskkoolis; ta väidab end olevat õppinud iseseisvalt entsüklopeediat lugedes. Ta sai keskhariduse, sooritades vastavad eksamid (GED) sõjalaevastikus, kus ta lühikest aega teenis. Joyner ütleb, et ta on noorena proovinud uimasteid. Jeesuse leidis ta Jeesus-liikumise kaudu. Ta uuendas oma usku 1970ndate alguses, kui tema ettevõte läks pankrotti.