祖孙登等都成了他的宾客，动辄聚集千余人；其部不遵法度，侯安都却给予庇护。而且侯安都目中无人，甚至对文帝亦不敬。一次陪文帝饮酒，侯安都问文帝：“何如作临川王时？”文帝最初不回应，侯再三逼问，帝不得已说：“此虽天命，抑亦明公之力”。文帝对此非常不满。天嘉三年周迪谋反时，朝臣商议派侯安都去平定，文帝却另派吴明彻去讨伐。文帝从中书舍人蔡景历口中得知称侯安都要谋反。天嘉四年（563年）六月，文帝以侯安都进江州刺史为由，将安都召进嘉德殿，隔离其部属，当场逮捕侯安都，宣布罪状，次日赐死，享年44岁。侯安都的墓在乳源县