Alfredo d’Andrade stammte aus einer bürgerlichen Familie von Lissabon. Seit seiner Jugendzeit interessierte er sich für die bildende Kunst. Sein Vater, Antonio José de Andrade, sandte ihn zusammen mit seinem Bruder Julio nach Genua zu einem Geschäftspartner, damit sie das Geschäftsleben kennenlernen könnten. 1855 besuchte Alfredo d'Andrade die Weltausstellung in Paris, wo er die Werke des Schweizer Malers Alexandre Calame kennenlernte. 1856 unternahm er mit seinem Bruder eine Italienreise, die sie nach Florenz und Rom führte.