兄长为江良贤宣。儿子为彦二郎，女儿嫁给白井晴胤（白井贤胤嫡子）。生涯先后仕于大内义隆、大内义长及陶晴贤。名字中的「房」字是拜领陶晴贤本名「隆房」中的1字（兄长贤宣则拜领陶晴贤的「贤」字）。与弘中隆兼并称为勇将，由于智勇兼备，与尼子氏交战后，就连毛利元就也刮目相看。而房荣也见识元就的力量，因而向陶晴贤进言应与元就保持和睦（桂岌圆决书）。数度担任大将，并率军转战于安艺国及备后国，非常活跃。天文20年（1551年）大宁寺之变时，与宫川房长共同领军自防府侵攻山口。天文22年（1553年）年10月，受陶晴