905年，他被编入后备役，四年后正式退役，1917年决定隐居。他同时为日本海员掖济会第一代成员（1881年至1891年担任委员长，1891年至1905年出任会长），1905年辞职，提名有栖川宫威仁亲王出任会长。1920年，赤松过身，终年78岁，死后葬于东京都文京区。
评价及影响.赤松身为第一批到达日本海外留学的人，将不少造船技术带回日本，又是造船先驱，令日本于二战时期的舰队技能有所提升，所以又被评为「日本造船之父」。于担任佐世保镇守府第一任司令长官期间，曾建造船坞但失败，之后感到十