004年夏季奥林匹克运动会中代表日本参加400公尺及800公尺自由泳，并获得800公尺自由泳金牌，成为日本自从山中毅于1960年获得自由泳银牌以来，首位于自由泳获得奖牌的日本人。她在2004年9月份同时成为鹿儿岛县与徳岛县荣誉县民。柴田亚衣也在当年获得紫绶褒章。柴田亚衣在加拿大蒙特利尔举行的2005年世界游泳锦标赛中获得女子400公尺自由泳银牌及800公尺自由泳铜牌，并以4分06秒74打破日本女子400公尺自由泳记录。2005年4月，她在鹿屋体育大学继续攻读硕士，并且接受田中孝夫教授的指导。柴田亚衣