Классифицируемая как готик-рок и хард-рок песня, «Get Your Gunn» получил в основном положительные отзывы от музыкальных критиков, которые описывали песню как жуткую и хорошо спродюсированную, в то же время Мэнсон получил признание за свои вокальные данные. В песне участвуют саксофон сыгранный вокалистом Хоупом Николсоном из американской альтернативной рок группы Sugarsmack и вырезанный семпл из видео, где американский политик и казначей Роберт Дуайер совершает акт самоубийства во время телевизионной пресс-конференции. По словам гитариста Дэйзи Берковица, написание песни ознаменовало смену направления Мэнсона, после чего он стал писать более политически заряженные песни. «Get Your Gunn» была обвинена в ультраправых текстах в США за кровавую бойню в школе «Колумбайн», и многие критики считают её одной из самых противоречивых песен всех времён. Музыкальное видео было снято режиссёром Родом Чонгом и была выпущена в 1994 году. Видеоклип получил признание от критиков, и попал в канадский чарт Canadian Hot 100 под номером 11 через три года после первого выпуска.