Tras la muerte de Oda Nobunaga en 1582, Kazumasu, al igual que otros partidarios de Nobunaga, comenzó a servir a Toyotomi Hideyoshi.