Han ble født i Stuttgart og studerte i likhet med sin far arkitektur i sin hjemby og i München. Han tok privatundervisning hos Max Reger, som anbefalte ham å studere musikk. Keller fulgte Regers råd, og studerte musikk i München, Stuttgart og Leipzig. Fra 1910 var han lærer og organist i Weimar, før han dro tilbake til Stuttgart i 1916. I 1924 tok han en filosofisk doktorgrad med avhandlingen . Keller ble i 1928 utnevnt til leder for kirke- og skolemusikkavdelingen ved musikkhøyskolen i Stuttgart, hvor han ble frem til 1933. Etter annen verdenskrig ble han direktør for musikkhøyskolen, fra 1946 til 1952. Han døde i en trafikkulykke i 1967. Den 17. august 2007, 40-årsdagen for hans død, opprettet sønnen hans et nettsted for ham, med lenker, bilder og andre ressurser.