Poco antes de que los The Murder City Devils se separaran en octubre de 2001, Derek y Andrea ya habían formado Pretty Girls Make Graves con Jay Clark (guitarra), Nathan Thelen (guitarra) y Nick Dewitt (batería).