前往投靠越后国的上杉谦信，之后再寄寓于会津芦名氏。天正7年（1579年），探访会津后，继任家督（『笠系大成』）。另一方面，自身则留在京都，并仕于将军足利义昭。不过在织田信长流放义昭后，于天正3年至9年期间，作为信长的使者，负责向东国诸大名（武田、上杉、后北条氏）交渉，并得到信长约定获得信浓的所领。天正10年（1582年），在甲州征伐中，拜谒攻陷深志城的织田长益，不过因为小笠原旧领已经给予木曾义昌，所以依然没能回复到旧领。同年6月，信长在本能寺之变中死去后，于天正壬午之乱中，为了回复旧领，于是成为德川家康的家