Отец Евгения Чена, Джозеф Чен (или Ачан) представитель народности хакка из Мэйсяни. После участия в восстании тайпинов он бежал в Британскую Вест-Индию, где встретил свою будущую жену Мари Леонг, китайскую иммигрантку. Местные власти потребовали от Чена, а также семьи Леонг принять католическую веру в качестве условия иммиграции. Евгений был старшим из трёх сыновей Джозефа и Мари.