。沛郡（今江苏沛县）人。刘瓌之子，初任南梁武陵国常侍。552年（西魏废帝元年），南梁宜丰侯萧循（萧脩）以梁州投降西魏。刘行本和叔父刘璠也归顺西魏，寓居京兆郡新丰县。北周大冢宰宇文护召他为中外府记室。武帝亲政，转任御正中士，兼起居注，累进掌朝下大夫。周宣帝即位，刘行本劝谏宣帝忤旨，外任河内郡太守。580年（大象二年）、尉迟迥作乱进攻怀州，刘行本率吏民抗敌，以功受位仪同，受爵文安县子。581年（开皇元年），隋朝建立，刘行本被召为谏议大夫，检校治书侍御史。转任黄门侍郎。数年后，兼任治书侍御史，又任太子