推测可能出身地方土豪，早年为成愿寺的僧侣，还俗后成为尾张守护斯波义统的家臣。牛一追随织田信长的时间不明，但可能是义统在天文23年（1554年）7月12日遭尾张守护代织田信友杀害后，随义统遗儿斯波义银一起投奔信长。天文23年（1554年）担任信长家臣柴田胜家旗下的足轻众，于同年7月18日参加了对信友势、有弔慰义统意义的安食之战。之后因弓术出众被信长纳为直臣，成为三弓三鑓的近侍「六人衆」的一员，随信长转战各地，并在永禄7年（1564年）攻略美浓斋藤家的堂洞城的二之丸时，因成功把箭射上高耸城楼屋顶的活跃表现，