Sus padres trabajaban para el embajador francés en Hong Kong, por lo que Chan pasó sus años formativos dentro de los terrenos de la residencia del cónsul en el distrito de Victoria Peak.