日本原有的國家海上武裝部隊為明治維新後組建的大日本帝國海軍，但隨著日本在第二次世界大戰的戰敗投降而被迫解散。1952年4月26日，日本政府成立隸屬於海上保安廳的「」，之後於同年8月1日成立，為總理府的外局，並將警察預備隊與海上警備隊統合分別改組為保安廳統轄的「保安隊」與「警備隊」。這兩個治安部隊，實際上都具有準軍事組織的性質。至1954年7月1日，日本政府將保安廳改組為防衛廳，同時成立由防衛廳管轄的自衛队，下设海上自衛隊。