En 1991, Dee Dee participó brevemente con el cantautor de punk rock transgresor GG Allin, tocando la guitarra con la banda de fondo de Allin los "Murder Junkies".