D'Arrest var eldste sønn av Louis d'Arrest, av en innvandret fransk hugenottfamilie. Etter forberedelse på College Français besøkte han fra 1839 universitetet i sin fødeby for å følge forelesninger over matematikk og astronomi.