Antes de unirse a Modest Mouse, Plummer tocó con las bandas The Black Heart Procession, banda proveniente de San Diego, y The Magic Magicians.