次征召，皆辞不赴。208年，曹操南下荆州，当时荆州的名士多依附刘备势力逃避战乱，「荆楚群士，从之如云」，而刘巴却北上依附曹操，被任为掾吏。赤壁战后，奉曹操之命回江南招降长沙、零陵、桂阳三郡，及至零陵，刘备先已派兵佔领三郡。诸葛亮劝刘巴留下，刘巴不从，刘备深以为恨。因无法覆命曹操，刘巴便南下交州，改姓张，并依附在交州刺史士燮手下。后来辗转进入益州，图谋北归。益州牧刘璋喜其才能，巴被留为谋士。在关于刘备是否让他入蜀协助抗张鲁的问题上明确提出反对意见。后刘璋招刘备入蜀，刘巴苦谏，璋不能听，刘巴于是闭门称疾。