Kahn ble født i Koblenz, Tyskland i 1886. Familien emigrerrte til USA og flyttet til Chicago i 1890. Etter eksamen fra high school arbeidet han som kontorist i et postordrefirma før han slo igjennom i en av de mest vellykkede og profilerte karrierer gjennom i plateselskapet Tin Pan Alley. Kahn giftet seg i 1916 med Grace LeBoy og fikk to barn, Donald og Irene.