有九名兄弟姊妹（五人仍在世），香港着名电台主持人白韵琹则为他的堂姑，而家族大多仍居住在台湾。白先勇7岁时，经医师诊断患有肺结核，不能就学，因此他的童年时间多半独自度过。抗日战争时他与家人到过重庆，日本投降后，1946年迁至上海和金陵，小学曾就读于南洋模范小学，后来于1948年迁居英属香港，曾就读九龙塘学校（小学部）及喇沙书院。不久之后随着中国国民党在国共内战的失利，在1952年移居台湾。1956年在建国中学毕业后，由于他梦想参与兴建三崃大坝工程，以第一志愿考取台湾省立成功大学（今国立成功大学）水利工