Ferdigheter i disse kunstformer ble skattet meget tidlig i Kinas historie, men begrepet som sådan er yngre. Den første bevarte tekst som nevner de fire sammen som en gruppe er Zhang Yanyuans fra midten av Tang-dynastiet, og den eldste bevarte tekst som taler om dem som nettopp «de fire kunster» er en bok av Li Yu (1610 – 1680), .