El primer lanzamiento bajo el nombre de Neutral Milk Hotel fue el Ep Everything is del año 1994, una breve colección de canciones hechas por Magnum.