文2年）里见氏内部爆发稻村之变，父亲时纲与兄长均战死，因而继任家督（一说时茂当时负伤逃出）。时茂枪术优异，有枪大膳的称号。起初担任里见义尧的寄骑，1534年（天文3年）跟随讨伐里见义丰（犬挂合战），胜利后的义尧，改以位于上总国的金谷城为根据地。翌年北条氏纲与扇谷上杉家争战之际，担任北条方的援军。之后里见氏与北条氏关系恶化，1538年（天文7年）第一次国府台之战时，参加里见方。之后，由于同族的内房正木氏叛逃至北条方，且上总武田氏势力衰退，因此将根据地自西上总金谷城，移往安房国朝夷郡，便于经略东上总国。