Il Corpo d'armata del Pei-yang venne creato dall'esercito Anhui di Li Hongzhang, che venne impiegato per la prima volta durante la Rivolta dei Taiping. A differenza delle forze della bandiera verde dei Qing, l'esercito di Anhui era in buona parte un milizia basata su legami di fedeltà personale più che istituzionale. L'esercito di Anhui venne inizialmente equipaggiato con un misto di armi tradizionali e moderne. Il suo creatore, Li Hongzhang, usò i dazi doganali e le entrate fiscali delle cinque province sotto il suo controllo, negli anni 1880 e 1890, per modernizzare parti dell'esercito di Anhui, e per costruire una marina da guerra moderna (la flotta del Pei-yang). È attorno a questo periodo che il termine "esercito Beiyang" inizia ad essere usato per riferirsi alle forze militari sotto il suo controllo. Il termine "Beiyang", che letteralmente significa "Oceano Settentrionale", fa riferimento ai dazi doganali esatti nella Cina del Nord, che vennero inizialmente usati per sovvenzionare la flotta del Pei-yang e successivamente Il Corpo d'armata del Pei-yang. Comunque, tali finanziamenti erano irregolari e l'addestramento non era affatto sistematico.