三河国额田郡百百村（现今爱知县冈崎市）出身的国人。
生平.在天文20年8月6日（1551年9月6日）出生。父亲忠门（青山忠世的儿子）仕于松平广忠、德川家康。在年幼时期开始，就成为家康的近侍。元龟2年（1572年），因为忠门在与武田信玄的战斗中战死，于是继任家督。受到家康深厚信任，天正13年（1585年），被任命为家康的三男秀忠的傅役。天正16年（1588年），跟随秀忠上洛，因为丰臣秀吉的关系，叙任从五位下常陆介。天正18年（1590年），在家康移封至关东后，被任命为江户町奉行，