そもそも闇金との貸付契約は法律上無効なので、キャンセル料も支払う必要はありません。とはいえ、支払わないと悪質な嫌がらせなどをされる恐れもあるので、弁護士や司法書士に間に入ってもらい交渉するのがよいでしょう。