В 1982 году, при поддержке гитариста Blondie Криса Стейна, был выпущен второй альбом The Gun Club, "Miami", лирически более меланхоличный и угрюмый, чем его предшественник. С выходом пластинки фотографии группы начали появляться на обложках весомых печатных изданий, в число которых входил и патриарх британского музыкального обозрения — New Musical Express. Коллектив отправился в свой первый значительный тур по Европе, после чего записал третий альбом — "The Las Vegas Story" — любимый диск Джеффри Ли Пирса. Пластинка была подготовлена Пирсом (вокал), Пауэрсом (гитара), Грэмом (ударные) и Патрисией Моррисон (бас), выпущена в 1984 году. "The Las Vegas Story" демонстрировала весьма оригинальную смесь панка, блюза и кантри, и красивую, порой мистическую лирику. Она немедленно нашла отклик в творчестве одного из первооткрывателей пост-панка — Ника Кейва. Австралиец познакомился с Джеффри Ли в Лондоне и впоследствии неоднократно с теплотой вспоминал его: «Он часто говорил бессмыслицу, и это было частью его шарма. Вот он рассказывает о падении Сайгона, а через минуту уже говорит о размере мозга динозавра. Но мне было всё равно, я был просто счастлив…» На страницах своей автобиографии Go Tell the Mountain Пирс даже назвал Кейва «своей истинной супругой». Увы, несмотря на неизменно положительные отзывы критиков, ни один из альбомов The Gun Club не достиг впечатляющего коммерческого успеха, группу слушала сравнительно небольшая аудитория. Частично это было связано с неизменной проблемой солиста — злоупотреблением алкоголя и наркотиков, в частности опиатов. После выхода "The Las Vegas Story" The Gun Club гастролировал по Мексике, что весьма отрицательно сказалось на трезвости Джеффри Ли. В середине 80-х коллектив принял решение о прекращении музыкальной деятельности.