Mens han var på turné i California, møtte han kvinnen som skulle bli hans kone nummer to; Michelle Gilliam. De innledet et forhold, og dette førte til at hans første ekteskap ble oppløst. Gilliam og Phillips var gift i årene 1962 – 1970, og sammen fikk de datteren Chynna som startet bandet . Mens Michelle og John var gift, hadde hun et forhold til Denny Doherty. Selv om John var klar over dette, ettersom de alle tre bodde sammen, fortsatte samarbeidet i Mamas & Papas.