頼宣は浪人を多く召抱え、慶安4年（1651年）の慶安の変ではその首謀者・由井正雪との関係を幕府に疑われたこともあった。
庆安四年（1651年）发生以浪人由比正雪为首暴动的“庆安事件”，而赖宣也自然被怀疑怂恿由比正雪叛乱。