クレジットカード会社によっては「キャッシング枠の取消申請」を行うことで、キャッシング枠をなくすことができます。
枠を取り消すことはできず減枠のみのカード会社もあるので、一度確認してみてください。