Nafanafolkets muntlige historie forteller at de kom fra en landsby kalt Kakala i Elfenbenskysten, og at det fortsatt bor noen av folket deres der, samt at om de drar tilbake dit, får de ikke forlate landsbyen igjen. De ankom Banda-området etter ligbifolket, som kom det fra Begho tidlig på 1600-tallet.