尾张国出生。姓氏和出自等都有诸多説法，实况已不可考。自称是大和国的三轮氏一族，但是亦因为没有苗字，而被视为最下层的贫民、大工、锻冶工等出身，説法有相当多种。娶了木下藤吉郎（后来的丰臣秀吉）的姐姐木下智（当时名为「」，后出家，称日秀尼）为妻，期间生下丰臣秀次、秀胜、秀保。后来被当成是仕于织田氏的秀吉的亲人，于是改姓木下氏并改名为木下弥助。之后长子秀次成为阿波三好一族三好康长的养子，于是吉房亦改为三好姓。而吉房的妹妹是三好一族的大岛亲崇的妻室。在秀次被赐予遭改易的织田信雄的旧领并成为大名时，吉房亦成为尾