青州北海（今山东省青州市）人。隋朝时担任鄱阳郡书佐。涉猎经史图籍，能言成败事。性情凶狡，见隋末天下将乱，各地交通不便利。当时北海郡富饶，刘兰羡慕，与强人勾结，攻破其家乡的城邑。武德年间，淮安王李神通为山东道安抚大使，刘兰率宗党前往归顺。以功累迁尚书员外郎。《资治通鉴》记载有所不同，说刘兰成中过明经，在綦公顺攻打北海郡的时候，帮助守护北海郡城。后来被宋书佐陷害，投靠綦公顺。用疑兵之计，帮助綦公顺攻下北海郡城。刘兰成安存老幼，礼遇郡官，待宋书佐之礼如旧。又帮助綦公顺击败海陵臧君相，随綦公顺投靠李密，李密失败