农民家庭，父亲濑岛龙太郎当时是松泽村的村长、陆军预备役少尉。1924年考入日本陆军幼年学校，后升入日本陆军士官学校44期，以第二名成绩毕业，毕业后进入步兵第35连队，后升入日本陆军大学。1938年，以陆军大学首席身份毕业，获得天皇赐予的军刀。此后，直至日本投降，一直在旧日本陆军中服役，官至中佐参谋。二战后，曾一度被苏联关押于西伯利亚强制劳动，1956年获释回国。此后，曾就复员的旧军人再就业一事进行游说，期间濑岛在砺波中学的同学片冈清一曾邀请濑岛进入政界，但濑岛未接受邀请。1958年，进入伊藤忠商事工