高杉家家伝によれば、安芸国高田郡西浦村(現・広島県安芸高田市吉田町西浦)に住んだ武田元繁を先祖とし、その元繁の一族と伝えられる武田小四郎春時が毛利元就に仕え、天文22年(1553年)に高杉城の城主となり、姓を「武田」から「高杉」に改めて春時が初代となる。