Dank seines Vermögens widmete er sich vielen Sportarten, insbesondere mit Pferden: er war Jockey, gewann die französische Amateurjockey-Meisterschaft, nahm zweimal am "Grand National" teil und spielte auch ausgezeichnet Polo. Als Bobfahrer nahm er 1956 an den Olympischen Winterspielen in Cortina d’Ampezzo teil und belegte im Zweierbob mit Vicente Sartorius den vierten Rang und im Viererbob mit Sartorius, Gonzalo Taboada und Luis Muñoz Rang neun. Ein Jahr später holte er im Zweierbob zusammen mit Luis Muñoz Bronze bei der Weltmeisterschaft. Alfonso de Portago war auch im Schwimmsport aktiv.