I sine første år skrev Kahn spesielt materiale for vaudeville. I 1913 begynte han et produktivt samarbeide med vel etablerte komponist Egbert Van Alstyne. Sammen med ham skapte han flere av tidens notable hits, inklusive "Memories" og sammen med (Tony Jackson: "Pretty Baby." Senere begynte han å skrve tekstercfor komponisten og orkesterlederen Isham Jones. Dette samarbeidet førte til et av Kahns best kjente arbeider: "I'll See You in My Dreams," som ble tittelen på filmen basert på hans liv. I filmen spilte Danny Thomas som Kahn og Doris Day hans kone Grace LeBoy Kahn.