Qi Jiguang kom fra en familie med lange militære tradisjoner. En av hans forfedre hadde tjent som offiser under Hongwu-keiseren og falt i kamp. Da Zhu Yuanzhang ble den grunnleggende keiser av Ming-dynastet forlente han familien Qi med den arvelige post som kommandant av garnisjonen i Dengzhou, som senere er blitt et subdistrikt i Penglai.