伊豆國
永正3年（1506年）4月在伊豆國雲見上之山城出生。父親高橋高種仕於伊勢宗瑞，身為長男的綱種由宗瑞養育，並師事於多目元忠，居住在伊豆國韮山。