为家康的三男秀忠的傅役。天正16年（1588年），跟随秀忠上洛，因为丰臣秀吉的关系，叙任从五位下常陆介。天正18年（1590年），在家康移封至关东后，被任命为江户町奉行，受赐予5千石（在文禄元年（1593年）加增2千石）领地。另外，得到以原宿村为中心，从赤坂的一部份至上澁谷村一带广阔的屋敷地（现今东京都青山的地名由来，就是屋敷地的一部份）。而在青山氏被改易时，屋敷地亦被没收，广大的土地就成为毛利氏的别邸等大名屋敷；后来以大名身份复归时，重新持有广大敷地。庆长5年（1600年），在关原之战中，虽然在秀忠的