1904年（明治37年）3月，在日俄战争爆发后，加藤为战列舰三笠的炮术长。其一改之前各火炮各自为战的做法，而是采用了根据檣楼上的着弹点观测员的报告统一指挥火炮的方式，提高了命中率。同年8月黄海海战爆发，加藤也在战斗中负伤。黄海海战结束后，军令部深感精通俄国事务的人员不足，于是从前线调走加藤，让他参与拟定计划，并以山本权兵卫的侍从官的身份向大本营报告，同时兼任山本的秘书长。