Ager ble født i Chicago som den sjette av ni søsken. Han forlot tidlig skolen, lærte seg på egen hånd å spille piano og begynte på en karriere som musiker. Senere gjorde han det godt som komponist av filmmusikk i Hollywood.