Byen ble grunnlagt 1. april 1982 da tettstedet Kani (可児町 – ) fikk bystatus. Tettstedet ble dannet i 1955 gjennom en sammenslåing av 7 tettsteder og landsbyer i den vestlige delen av Kani-distriktet.