A la vuelta de sus viajes se estableció en Hendaya, donde, con las ganancias de sus viajes, hizo construir el Castillo de Abbadie, obra del arquitecto Eugène Viollet-le-Duc.