上任职三行木匠的父亲需要到汶莱赚钱养家而与排行第二的兄长寄居于祖父母位于九龙红磡机利士南路附近的唐楼寓所。其排行第一的兄长亦随父亲出外工作。司徒永富早年就读板间房小学，后随家人移居山谷道邨。读至五年级时由于不希望自己成为老师口中的「地底泥」，他于是前往何文田邨另觅学校。结果获取录在中华基督教会基浩小学完成剩下的小六课程。后来被派到昔日位于香港岛水街的坚道英文书院升学。碍于交通不便，他转到闽光书院就读中一至中五的课程。在学期间本来无心向学，却在中三时得到一位老师用心指导，成绩因此转好，并在考毕香港中学会考后以