Чэнь Сяогун родился в августе 1949 в Вэйхае, провинция Шаньдун в семье дипломата Чэнь Чу, который впоследствии был первым послом КНР в Японии. С 1969 года Чэнь Сяогун — на службе в НОАК, в январе 1970 года вступил в коммунистическую партию. Окончил Цзилиньский университет, специализировался на всемирной истории. Во время китайско-вьетнамской войны 1979 года командовал батальоном.