出身，战国时代武将五藤为浄 (通称吉兵卫) 的后代。其父五藤近知之第三子。五藤存知是海军兵学校38期毕业，同期同学知名者有栗田健男、三川军一。五藤存知曾入海军水雷学校高等科，专业是鱼雷战术专家。历任驱逐舰舰长、驱逐舰队司令等职。战争前曾任职重巡洋舰「爱宕」、「鸟海」与战列舰「山城」、「陆奥」的舰长。1939年11月晋升海军少将，并就任第2水雷戦队司令官。太平洋战争开战前已就任「第6戦队」司令官，开战后率领第6战队先后参加进攻威克岛作战（作为増援部队）和珊瑚海海战（属MO攻略部队）。1942年8月