生母・茶阿局の身分が低いため、下野栃木(皆川)城主で3万5,000石の大名である皆川広照に預けられて養育されることとなった。