Su Shi ble født ikke langt fra Emeifjellet. Hans bror Su Zhe (蘇轍) og hans far Su Xun (蘇洵) var begge celebre høylærde menn. Su fikk sin tidlige utdannelse som disippel under en taoistisk prest som drev en lokal landsbyskole. Senere i barndommen studerte han under sin mor, som selv var en høyt utdannet kvinne.