在此建立，成为的始祖，其子孙在分散到高岛郡各地后，又陆续分衍出、、、横山氏、田中氏、的分支家族。16世纪初浅井亮政崛起掌控了北近江以浅井郡的区域后，将势力往西扩张至此，高岛氏一族因而臣服于浅井氏，直到16世纪末织田信长击败浅井氏后，高岛郡曾先后交由矶野员昌和津田信澄，并在此建立大沟城和新庄城；而高岛氏一族在本地只剩下朽木氏得以继续存续发展，17世纪进入江户时代后，朽木氏成为幕府的交代寄合旗本，得以继续领有位于高岛郡中部的朽木领地直到江户时代结束。除朽木领外，在高岛郡的南部还有的大沟藩，藩厅设于胜野地