Jello Biafra
В августе 2004 года Melvins выпускают совместный с Lustmord альбом «Pigs of the Roman Empire», а затем два совместных альбома с Джелло Биафра (поклонники группы называют этот союз «"Jelvins"») — «Never Breathe What You Can’t See» (2004) и «Sieg Howdy!» (2005). В поддержку первого был организован мини-тур, в котором приняли участие Melvins, Биафра и гитарист Tool Адам Джонс. Запланированный европейский тур был отменен в октябре 2004, из-за отсутствия Рутманиса, по поводу которого Осборн и Кровер заявили, что он «исчез». В начале 2005 года Рутманис вернулся, а уже в июне окончательно покинул группу (по слухам — из-за проблем с наркотиками). Временно его заменял Дэвид Скотт Стоун, который ранее уже сотрудничал с группой как сессионный музыкант.