La canción se tocó en directo por primera vez en la gira Zoo TV de 1992-93, y se mantuvo en el repertorio durante casi toda la gira, siempre interpretándose en los bises, justo después de que Bono, caracterizado como "The Mirror Ball Man" o como "MacPhisto", hiciera una llamada telefónica o soltara un discurso. No volvió a reproducirse en directo hasta 2009, 16 años después, cuando fue incluida de nuevo para la gira U2 360º entre 2009-11. A partir de la tercera manga, comenzó a alternarse en los bises con la canción Hold Me, Thrill Me, Kiss Me, Kill Me; cuando se tocaba una, se obviaba la otra, aunque «Ultra Violet» fue incluida en más shows. Posteriormente, también fue incluida en las giras The Joshua Tree Tour 2017 y 2019, nuevamente en los bises durante ambas giras.