På dette tidspunktet hadde La Toya et kort forhold til DeBarge-medlemmet Bobby DeBarge. Under farens innflytelse ble det bestemt tidlig i 1979 at de tre Jackson-søstrene skulle danne en gruppe under navnet The Jackson Sisters. Gruppen framførte aldri noe live, og responsen fra plateselskapene var kjølig. La Toya skrev dette året under platekontrakt med plateselskapet Polydor, og begynte innspillingen av sitt første album.