Poprvé vznikl sekretariát v lednu 1934 prakticky přejmenováním stálého výboru politbyra, jako několikačlenná skupina členů politbyra řídících stranu mezi jeho zasedáními, v podmínkách občanské války zřídkavých. Přetrval i po vzniku Čínské lidové republiky. Po VIII. sjezdu KS Číny roku 1956 bylo nově zvolené vedení strany reorganizováno – ústřední výbor ze svého středu zvolil politbyro, nejužší vedení strany bylo přejmenováno z ústředního sekretariátu na stálý výbor politbyra a vznikl nový orgán, sekretariát, který měl za úkol snižit pracovní zatížení stálého výboru, když převzal výše zmíněnou realizaci a kontrolu rozhodnutí stálého výboru a politbyra a rozhodování rutinních záležitostí. Sekretariát se skládal z tuctu tajemníků a několika kandidátů sekretariátu, v jeho čele stál Teng Siao-pching s titulem generálního tajemníka.