Neutral Milk Hotel debuterte i 1994 med EP-en , bandet bestod da kun av Mangum. På bandets debutalbum, , ble bandet utvidet med Robert Schneider, som bidro på produksjon og instrumenteringen. Bandet begynte nå på en omfattende turné.