Arp var født i Strasbourg i Alsace. Som sønn av en mor fra Alsace og en tysk far i den korte perioden etter den fransk-prøyssiske krig da Alsace-Lorraine ble Elsass-Lothringen ved tilbakeføring til Tyskland, ble han døpt Hans. Etter første verdenskrig ble området fransk, og myndighetene bestemte at Hans skulle være Jean. Han ble i 1922 gift med Sophie Taeuber-Arp.