"Shake the Disease" fue una de las primeras canciones resultantes de la grabación de lo que acabaría siendo el álbum "Black Celebration", durante 1985, sin embargo al verse en la expectativa de lanzar Depeche Mode su primer colección de sencillos se decidió incluirla como tema inédito promocional de la misma, además de que aparentemente bien podía haber desentonado un poco en "Black Celebration".