27年）出生。于的居城三河国筒针城（现今爱知县冈崎市筒针町）长大。仕于松平广忠，担任小姓，后来受广忠下赐偏讳，改名为吉忠。在广忠死后，仕于松平元康。在桶狭间之战、三河一向一揆、以及与今川氏真的挂川城攻防战等战事中，率领被称为「小栗党」的一族战斗，被赐予远江国中泉8百24贯文之地、同心41人（被称为「小栗同心」）。此后，以奉行身份，开始在内政方面活动，被称为「三远奉行」（非正式役职名）。主要负责在以远江为中心检地、支配寺社领、街道整备等。天正10年（1582年），在甲州征伐后，迎接凯旋而在东海道游覧的织田