以原宿村为中心，从赤坂的一部份至上澁谷村一带广阔的屋敷地（现今东京都青山的地名由来，就是屋敷地的一部份）。而在青山氏被改易时，屋敷地亦被没收，广大的土地就成为毛利氏的别邸等大名屋敷；后来以大名身份复归时，重新持有广大敷地。庆长5年（1600年），在关原之战中，虽然在秀忠的军队中从军并迟到，不过在翌年（1601年），得到常陆国江户崎1万5千石所领。兼任江户奉行、关东总奉行，在江户开府后，与本多正信、内藤清成一同以老中身份，成为处理幕政的重臣。庆长11年（1606年），与内藤一同被命令一时蛰居，不过在不久后