Bandet ga ut en psykedelisk egenutgivelse som EP på rød vinyl, ofte referert til som , men første egentlige plate var EP-en fra 1982 utgitt av Dream Syndicate-sjefen Steve Wynn på hans egen Down There label. Green on Red fulgte The Dream Syndicate til selskapet Slash Records, som ga ut albumet høsten 1983.