Phillips urodził się w Cleveland w Ohio jako dziecko Edwina Deroger Phillipsa i Frances Kathleen Coates. Jego ojciec, Edwin Phillips, był działaczem związkowym, a aktywizm jego rodziców znacznie wpłynął na jego późniejsze życie. Uczęszczał do East High School w Salt Lake City, gdzie zainteresował się sztuką i grą na instrumentach. W latach 50. przez trzy lata służył w armii Stanów Zjednoczonych. Brał udział w wojnie koreańskiej, gdzie był świadkiem wojennego okrucieństwa oraz zniszczeń, co miało ogromny wpływ na jego myślenie społeczne i polityczne. Po zwolnieniu z wojska Phillips jeździł koleją po kraju i pisał piosenki.