"All I Want is You" fue tocada en casi todas las fechas de 1989 del Lovetown Tour, ocasionalmente, después de "Bad", que comparte una considerable similaridad musical.