Han ble født som Abraham Kahn i en jødisk familie og som den eldste av fire barn av Louis Kahn (kveghandler) og Babette Kahn (født Bloch) (hjemmeværende). I forbindelse med den fransk-prøyssiske krig i 1871 ble Alsace og deler av Lorraine en del av Tyskland. Likesom mange andre familier valgte familien Kahn i 1872 å flytte til området Saint-Mihiel ved elven Meuse. Moren døde i 1870 da Kahn var 10 år gammel og i 1873 fortsatte Kahn sine skolestudier på gymnaset i Saverne ().