伊賀越えの後、新たに正成が指揮権を預けられた「伊賀同心」「伊賀衆」は、伊賀越えを支援した縁で徳川家への仕官を望んだ伊賀国の地侍とその家族であり、正成自身の家臣ではなかった。家康は彼らを同心として雇い、指揮権を伊賀の血筋である正成に与えた。しかし同心らは「自分達は徳川家に雇われたのであり服部氏の家来になったのではない」と認識していた事、正成の父である保長が早い時期に伊賀を出て三河に住んだ事、伊賀における正成の家格は自分達よりも下である事などを理由に、彼に指揮される事を無念に思っていたという。のちに彼らは「伊賀同心二百人組」として組織化され江戸城周辺の守備にあたったが、正成の死後も伊賀同心二百人組と服部半蔵家との確執は続いた。指揮権を継いだ正成の長男で三代目半蔵である正就の改易後、伊賀同心二百人組は四つまたは六つに分割解体され、それぞれの組には新たに指揮者となる旗本を置いて再編成される事となった。この時、四代目半蔵となった正就の弟正重は大久保長安に仕える金山同心であったため、伊賀同心の指揮者にはならなかった。なお、彼ら伊賀同心とは別に古くから三河地方に定住していた伊賀出身者や服部党も多数おり、彼らもまた、保長や正成と同じく松平・徳川家に仕えていたとみられる。
その後の服部家.
正成の死後、嫡男の正就が三代目の服部半蔵を継ぎ、父の正成に続いて伊賀同心支配役の任についた。
その後、正就は関ヶ原の合戦前後、鉄炮奉行として家康の警護や大田原城の戦時改修、白河城攻め等に加わるが、父の代から続く伊賀同心との軋轢や当時幕府に禁じられていた夜間の無断外出等を行った事で改易され、伊賀同心の支配と服部半蔵の名を返上する事となった。
正就の後、佐渡金山同心となっていた次男の正重が四代目の服部半蔵を継いだが、正就の改易に伴い伊賀同心の支配の任も解かれていたため、正重は服部半蔵の名を継ぐのみとなった。正重は佐渡金山同心を務めたのち長年を村上藩に仕え、晩年は桑名藩に招かれ上席家老を務めた。正重の功により服部半蔵の家は幕末まで代々家老職を務める事となった。
服部半蔵の屋敷.