茶湯に深い理解があり、千利休に師事し、利休七哲の一人（筆頭）にまで数えられており、利休からは「文武二道の御大将にて、日本におゐて一人、二人の御大名」と評された（『備前老人物語』）。
利休本人对氏乡的评价亦相当高，称其为“文武双全的大将、日本数一数二的大名(文武二道の御大将にて、日本におゐて一人、二人の御大名，出自‘备前老人物语’)”。