Arago ble født på Estagel, en liten landsby nær Perpignan i departementet Pyrénées-Orientales i Frankrike, hvor hans far hadde stillingen som kasserer for landets myntverk. Han var den eldste av seks brødre.