Os dous seguintes lanzamentos da banda son en directo. O primeiro deles, The Colossus of Destiny, é máis ben unha rareza tipica de The Melvins: un único tema de 59 minutos de barullo sen melodía. O segundo, Millennium Masterwork, de 2002, reúne a The Melvins e a Fantômas no mesmo disco. O concerto que deu orixe ao disco foi unha presentación das dúas bandas xuntas no escenario para celebrar os cinco anos da Ipecac.