Tosa Domain
도요시게는 원래 도사 번 방계인 야마노우치 남저가(山内南邸家) 출신으로 야마노우치 도요아키의 장남으로 태어났다. 원래 도사 번주의 적자들은 에도의 야마우치 집안 저택에 보내지나, 그는 방계였으므로 고치 성에서 자랐다. 그의 집안은 본가에 가장 가까운 방계로서 영주로부터 1500석 정도의 영지를 분봉받았다.