纪初浅井亮政崛起掌控了北近江以浅井郡的区域后，将势力往西扩张至此，高岛氏一族因而臣服于浅井氏，直到16世纪末织田信长击败浅井氏后，高岛郡曾先后交由矶野员昌和津田信澄，并在此建立大沟城和新庄城；而高岛氏一族在本地只剩下朽木氏得以继续存续发展，17世纪进入江户时代后，朽木氏成为幕府的交代寄合旗本，得以继续领有位于高岛郡中部的朽木领地直到江户时代结束。除朽木领外，在高岛郡的南部还有的大沟藩，藩厅设于胜野地区的。19世纪末明治维新后，本地的的幕府直属领及旗本领先后改隶属大津裁判所及大津县，1871年实施废藩