为典型的儒学家庭，父亲与李根源是永昌府试同榜人，有四位长辈都是读书人，大家族人，四代同堂。伍集成少年时常看《三国演义》、《红楼梦》、《水浒》、《岳飞传》等，并此书中故事激励同辈。他行事不做违心事、忠厚留余地。在昆明，伍集成跟实业家缪云台学习，心怀国家民族情怀。第二次世界大战结束，于1946年伍集成举家离昆明，移居香港，先在湾仔买下一幅地皮作为商业基地，创立瑞成国际贸易有限公司，从事棉花棉纱贸易，发展东南亚花纱供应网，于越南、印度、缅甸、泰国等地设立子公司，由巴基斯坦、埃及等产地买入棉花，供应香港纺织厂，