En 2013, como preámbulo a Delta Machine Tour, Martin Gore interpretó "But Not Tonight" en una versión "acústica" sólo con piano de Peter Gordeno, en el club nocturno The Troubadour de Hollywood, siendo la tardía primera vez que el tema se llevó a cabo en directo; después se incorporó como tema opcional en esa forma para tal gira.