Народився 1824 року у м. Сін'ань (провінція Аньхой). При народженні носив ім'я Чжу Сюбай. Під час Тайпінського повстання він був військовим чиновником у Цінському уряді. Глибоко розчарувавшись в тому, що відбувається, Чжу Сюбай залишив свою посаду і постригся в буддійські ченці під ім'ям Сюй Гу. З тих пір цей він регулярно мандрував між Янчжоу і Шанхаєм, заробляючи на життя продажем своїх картин.