和谭智健后，第三位在雅典奥运得到两个项目参赛资格的香港泳将。在7月进行的分龄赛中，她又以17分56秒69刷新女子1,500米自由泳的香港纪录。
2004年：初战奥运会.2004年8月，16岁的施幸余代表香港参加在希腊雅典举行的奥运会游泳比赛。8月15日，她在女子100米蝶泳初赛中游出1分02秒42的成绩，在小组中排第7名；而总成绩则排在第32名，未能晋级。同日，她又出战了女子200米自由泳初赛，游出了2分07秒55，在41名泳手中排39名，同样无缘晋级。赛后，她坦言受到大赛气氛影响