Su padre era director de banda, y como sucedió con Hector Berlioz, Ives tenía una fascinación por la música al aire libre y por la instrumentación.