而当关羽，和刘巴说清楚这些事情的来龙去脉之后，刘巴也不由一愣，毕竟刘巴还是很看不起那些依靠拼杀在战场上都将军的。
最出名的一次，就是张飞请教他的时候，刘巴拒绝了他。
214年，诸葛亮问刘巴：“张飞主动拜访你，你为何不理他？”刘巴冷冷答道：“大丈夫岂能和一个啥也不懂的武夫交谈？”
当时，位列八俊之一的荆州牧刘表多次想征用刘巴，可刘巴觉得刘表虽然割据一方，但他缺少纵横天下的英雄气质，追随他难以成就大事，因此就果断拒绝了刘表。
208年，曹操统率大军征讨荆州，本就病重的刘表在惊吓中不幸去世，他的儿子刘琮继位后，直接就选择了投降曹操。
这时，还没有一块立足之地的刘备寄居在荆州，得知刘琮降曹后，刘备便一边逃亡、一边联系孙权，准备与曹操抗战到底。
曹操虽然势力大，可名声不如刘备好，因此刘备逃亡期间，许多荆楚名士都追随刘备，然而大名士刘巴，却看不惯这个卖草鞋出身的家伙，他选择了投奔曹操。
曹操见到刘巴后，不仅非常高兴，而且还交给他一个重大任务，招抚长沙、零陵、桂阳三郡。
刘巴明知这个任务不好完成，可他还是一腔热血的去了。
遗憾的是，不久后便爆发了赤壁之战，老谋深算的曹操竟被孙权、周瑜等几个年轻人，给收拾的狼狈不堪。
曹操兵败逃跑后，刘备趁机占据了长沙、零陵、桂阳等地。事情到了如此地步，刘巴总该投奔刘备了吧？
可令人意外的是，他不但没有投奔刘备，还向诸葛亮致信：我深入四战险地，是想让荆州诸郡都归顺曹操，使天下早日重归一统，然而，众人或出于道义、或出于私利的考虑，使我的抱负无法实现，如果我实在没有好办法，那就只能选择浪迹天涯！
从刘巴这封信中足可看出，他之所以选择曹操，是因为曹操以天子的名义征讨不臣。刘巴希望早日停止战乱，天下重归一统。
如果到处都是割据一方的势力，天下何日才能一统？
要知道在历史上，刘巴的第一选择从来都不是刘备。而是挟天子以令诸侯的曹操。那为何后来又选择刘备了呢？
支持刘备的诸葛亮，看到刘巴的来信后，赶紧回信：如今，曹操赤壁败逃，雄才大略的刘公已占据了荆州的大部分土地，众人莫不纷纷归顺，这是天意民心所向，局势如此清晰，你还想到哪里？
刘巴看了诸葛亮的信后，依旧没有归附刘备的意思，他回信道：我奉曹公之令而来，如今纵使没有完成使命，也要回去给他交代清楚，这是理所当然的事情。
之后，刘巴终究没有投奔刘备，而是逃亡至交趾郡。
刘巴作为大名士，依旧不选择刘备，这让刘备对他恨得咬牙切齿。
刘巴在交趾没有待太久，因为交趾太守士燮，是支持孙权的。因此刘巴几经辗转来到了益州，投奔了益州牧刘璋。
214年，刘备打败刘璋，一举占据益州。
刘备占据益州后，无路可走的刘巴闭门不出，刘备手下的许多将士对此表示愤怒，想去修理刘巴。
这时，诸葛亮向刘备说道：运筹策于帷幄之中，我远不如刘巴！
如此，看中人才的刘备，果断放下恩怨，向军中下令：谁敢危害刘巴，我立即诛他三族！
事情走到这一步，刘巴总算认命了。他主动去拜见刘备，并对以前的种种，作出诚恳的道歉。
而需要人才的刘备，也很大度的任命他为左将军西曹掾。
刘巴本身就为人清廉，不置产业，现在几经辗转，不得不效力于刘备帐下。
因为之前一直不愿归顺刘备，为了防止被人陷害，他便沉默寡言，除了公事，从不论人是非。