Tadatsugu nació en 1527, hijo de Sakai Tadachika, un vasallo hereditario del clan Matsudaira de la Provincia de Mikawa.