Al mismo tiempo que R.E.M., Stipe formó la banda Tanzplagen, junto a su hermana Lynda Stipe y otros dos integrantes, con quienes grabó un disco de vinilo de dos canciones publicado en 1981.