Comenzó como un dúo con el baterista Jordan Mancino, después se reunieron por primera vez como una banda en febrero de 2001, el nombre de la banda fue tomado de la novela del mismo nombre de William Faulkner, aunque no existe una correlación entre la música de la banda y el tema del libro.