扬携带德川家的人到达静冈藩，在当地他成为沼津兵学校陆军一等教授。但之后他改为支持明治政府，在其邀请下加入大日本帝国海军。曾经就任主船寮长官、横须贺造船所所长、海军造船会议议长，1887年获封为男爵，1889年成为佐世保镇守府第一任司令长宫。一年后，贵族院成立，赤松担任第一代贵族院议员。1893年，他被编入预备役，之后决定迁往见付（现静冈县磐田市），建造旧赤松家（旧赤松家现已被评为日本文化遗产，开放给公众参观），落地生根。1905年，他被编入后备役，四年后正式退役，1917年决定隐居。他同时为日本海员掖