Before recording the follow-up to their debut, the band released the acoustic EP/DVD "My Heart Will Always Be the B-Side to My Tongue".
В мае 2004 года группа представила акустический мини-диск «My Heart Will Always Be the B-Side to My Tongue», который включал ремейк классики Joy Division — Love Will Tear Us Apart.