主坂西永忠因为所领问题对立，并把永忠放逐到信浓木曾郡。元龟3年（1572年）11月15日，向德川方的国人众送出书状，对三河国、远江国、美浓国进行离间。元龟4年（1573年）4月，在信玄死后，仕于成为当主的武田胜赖。同年7月6日，被任命为前往三河长篠城的在番，并被赐予远江井伊谷，此时在井伊谷配置同族的小笠原忠长和家臣常叶常陆守等。同年7月，三河的德川家康包围长篠城，此时以援军身份，被胜赖派遣前往救援，不过在同年9月，放弃长篠城并退去。天正3年（1575年）4月，在胜赖侵攻三河时，与山县昌景一同受山家三