Cuando tenía cinco años, su madre empezó a enseñarle piano y órgano, y más adelante en su juventud, Case sería el organista en la iglesia de la familia.