始补县学生员。1854年，为曾国藩的幕客，与郭嵩焘、罗泽南有往来。咸丰五年（1855年）太平军翼王石达开总攻湘军水营，烧毁湘军战船百余艘。曾国藩座船被俘，“文卷册牍俱失……公愤极，欲策马赴敌以死”，由刘蓉等人力劝乃止。咸丰九年十二月（1860年1月），左宗棠因樊燮案离开骆秉章幕府，荐举刘蓉替代自己。次年骆秉章升任四川总督，刘蓉被荐为四川布政使。1862年太平军翼王石达开由广西、贵州入四川，骆秉章命刘蓉扼守大渡河。太平军受困于大渡河，粮尽援绝，石达开赴清营谈判时被擒，刘蓉将其押送至成都处死。以功旋任陕西巡抚。