习读《孝经》、《论语》，学于虎门馆。北周武帝曾对苏世长作考核，曰：「《孝经》、《论语》何所言？」答：「《孝经》云：『为国者不敢侮于鳏寡。』《论语》云：『为政以德。』」获武帝赞许。苏振死后，袭爵为建威县侯。隋朝建国后，为长安县令。大业末年，为都水少监、长江水运监督。618年，隋炀帝被宇文化及所杀，苏世长为炀帝发丧恸哭。后为王世充属下太子太保、行台右仆射，和王弘烈、豆卢褒镇守襄阳。唐高祖李渊与豆卢褒有旧交，派遣使者劝其归顺，豆卢褒杀使者以拒絶。621年，唐军平定洛阳，苏世长、王弘烈归顺唐朝。李渊处死豆卢