Hans far, Zuo Yong, ble keiserlig arkivar. Zuo Sis søster Zuo Fen ble senere kjent både som forfatterinne og som en av de fremste konkubinene til keiser Wu av Jin.