转至骏河国庵原郡、富士郡（鹦鹉栖）1万贯。在离开高天神城以后，文书上没有记载在骏河东部的动向。一说指在天正2年（1574年）向胜赖降伏后，不久后即病死。根据『北条记』记载，在武田氏于天正10年（1582年）灭亡后，投靠北条氏政而前往小田原，不过因为织田信长的命令而被氏政杀死。在另外的资料中则记载，虽然得到氏政庇护，不过在后北条氏于天正18年（1590年）灭亡时，被家康捕获，因为过去降伏的罪而被处刑。此后，由叔父小笠原义赖继承家督。