荆州牧刘表也素来厌恶刘祥，拘捕刘巴欲杀，数次遣刘祥以前所亲信的人秘密骗刘巴一同逃跑，刘巴都不应。刘表得知后不杀刘巴。刘巴十八岁时为零陵户曹史主记主簿。刘表多次要提拔他，并举荐为「茂才」，多次征召，皆辞不赴。208年，曹操南下荆州，当时荆州的名士多依附刘备势力逃避战乱，「荆楚群士，从之如云」，而刘巴却北上依附曹操，被任为掾吏。赤壁战后，奉曹操之命回江南招降长沙、零陵、桂阳三郡，及至零陵，刘备先已派兵佔领三郡。诸葛亮劝刘巴留下，刘巴不从，刘备深以为恨。因无法覆命曹操，刘巴便南下交州，改姓张，并依附在交州刺史