同時に蔵入地2万石の管理も任されていたが、これを自身の給人地としたために秀吉の勘気を被り、同年9月に領地を召上げられ、豊臣秀長に預けられて大和国郡山城に蟄居の身となった。
同时负责管理当地藏入地2万石，但对自家家臣领地分配的管理不善，加藤光泰遭到秀吉责难，在同年9月被没收领地，送往丰臣秀长的大和郡山城蛰居。