La Toya Yvonne Jackson ble født den 29. mai 1956, samme dato som hennes eldre søster Rebbie Jackson fylte 6 år. La Toya var det femte barnet, i en familie med, etter hvert, ni barn og den mellomste av de tre jentene, mellom støresøsteren og lillesøsteren, Janet Jackson, født 1966. La Toya ble beskrevet som et sjenert barn, og hun fulgte morens trosretning innenfor Jehovas vitner. Hun har selv sagt at «», og at livet hennes tidlig dreide seg rundt religion og skole.