海军兵学校10期毕业，同期27人中毕业成绩为首席。同期生中有海军大将、海军大将等。毕业后即赴长浦水雷营，先后在外轮船、防护巡洋舰高千穗、护卫舰上服役，专业方向为雷击战（包括水雷（日语“机雷”）、鱼雷等）。1889年，佐世保镇守府开厅，加藤任初代长官赤松则良的传令使，踏上了其军队行政生涯的第一步。1891年7月至1893年3月，加藤重新回到舰上，担任无防护巡洋舰水雷长以及炮术长。其后加藤作为伏见宫博恭王赴德留学的随行人员，到德国出差，也因此没有参加甲午战争，战争结束后才回到日本。回国后先后任防护巡洋舰