豊臣氏の家臣団内部では文治派と目され、小西行長と共にいわゆる武断派から憎まれた。