服部半蔵の先祖は、代々伊賀国花垣村余野に住んで、この地を支配していた土豪であるようです。戦国時代の伊賀には百地、藤林、千賀地という3つの名家がありましたが、いずれもルーツは服部であったそうです。初代服部半三保長も元々は千賀地を名乗っていましたが、狭い伊賀では立身が望めないと考えて若い頃に出奔し、姓を先祖の服部に戻したとされています。