游向国有财产局承租了一块旱地，靠着小学老师的薪水及种植农作物养活一家13口，家境清苦。排行老八的苏建荣，上有6个哥哥、1个姊姊，为贴补家用，自小就跟哥哥一起打零工，帮忙邻居放牛、放羊。随着哥哥陆续退伍并找到工作，家中经济开始好转，在他国中毕业时，举家搬到高雄冈山，父亲靠着贷款买下一栋房子，自此一家才真正有了栖身之所。在穷困的环境下，众多兄弟姊妹中，只供他一人北上念书，所以学生时期勤奋好学，凭着自身苦读考上东吴大学经济学系、中兴大学法商学院(现为国立台北大学)经济学系研究所。尔后又在恩师许松根推荐下，出国深造