Stinson dannet bandet i Minneapolis, Minnesota i 1979 sammen med trommeslager Chris Mars og sin yngre halvbror Tommy. Bob Stinson var da bare tolv år gammel. Ett år senere tok Stinson inn Paul Westerberg på andregitar og vokal.