，虽然为御徒士吉泽雄之助次子，则跟祖父姓「赤松」。1857年，入读长崎海军传习所学习航海术。1860年，美日修好通商条约成功签订，幕府决定派一群人前往美国交流，而赤松在一年后入选为留学生。1862年美国爆发南北战争，幕府担心留学生的人身安全，因而改为前往荷兰交流。1863年4月他们到达鹿特丹，赤松于当地选择学习砲术及造船学。但于1868年，幕府将军德川庆喜大政奉还，失去幕府的资助，他们再也不能继续留学，于是回国。大政奉还后，有支持幕府的旧势力不满，因而爆发戊辰战争。赤松支持幕府，成为幕府海军副总裁，