Kōzuke Province
쇼토쿠 4년(1714년) 8월 16일, 쇼나이 번사로 사카이 이에쓰구의 후손인 사카이 나오타카()의 아들로 태어났다. 교호 17년(1732년) 7월에 마쓰야마 번의 2대 번주인 사카이 다다야스의 친아들인 사카이 다다히데가 폐적되었기 때문에, 그해 8월 29일에 다다야스의 양자가 되었으며, 같은해 11월 25일 다다야스가 은거하면서 번주직을 계승하였다. 번 통치 개혁의 일환으로 가리아게 제()를 시행하였으나, 양자로서 번주가 된 다다요시에 대한 가신단의 반발로 인해 실패하고, 막부로부터 3천 냥을 빌려서 곤궁함을 면하였다. 호레키 10년(1760년) 8월, 와카도시요리에 임명되었고, 안에이 8년(1779년) 12월 15일에 고즈케 국 내 영지 5천 석을 추가로 받아, 번 영지는 2만 5천 석이 되었다.