Stipe møtte Peter Buck, Bill Berry og Mike Mills i 1980, mens han studerte fotografi og maling på University of Georgia. De grunnla R.E.M det året og ga ut sin debutsingel, «Radio Free Europe», på Hib-Tone. Sangen ble en collegeradio-suksess, og bandet signerte med I.R.S. Records for å slippe albumet og EP ett år senere.