Algunas canciones, como "Motherly Love" y "I Ain't Got No Heart", ya habían sido grabadas antes de las sesiones de grabación de "Freak Out!" Estas grabaciones tempranas, supuestamente de 1965, no fueron editadas oficialmente hasta 2004, en el álbum póstumo de Zappa "Joe's Corsage".