Jinyiwei begynte som den fremtidige keiserens livvakter i 1360 og forsvarte ham i kamp mot krigsherren Chen Youliang. Etter at Zhu grunnla Ming-dynastiet og ble Hongwu-keiseren, var han usikker på sine undersåtters lojalitet til ham og var stadig på vakt mot mulige opprørere og snikmordere. En av jinyiweis oppgaver var å hjelpe keiseren i å spionere på sine undersåtter. Hongwu-keiseren utvidet deres oppgaver etterhvert, slik at de for eksempel inspisere embedsverkets innsats i hovedstaden. Alt dette var innen han formaliserte dem som organisasjon i 1382, med om lag 500 medlemmer. Deres antall vokste på tre år til om lag 14 000 mann.