Cui war der Sohn des französischen Offiziers Antoine Cui (russifiziert Anton Leonardowitsch Cui), der nach dem Rückzug Napoleons aus Moskau in Russland geblieben war, und der polnisch-litauischen Adeligen Julia Gucewicz aus der Familie des Architekten Laurynas Gucevičius (polnisch Wawrzyniec Gucewicz, nach einigen Quellen dessen Tochter). Da er schon früh Interesse an der Musik zeigte, erhielt er ab dem Alter von zehn Jahren Musikunterricht, unter anderem 1850/1851 bei Stanisław Moniuszko, der sich damals in Vilnius aufhielt. 1851 trat er in die Sankt Petersburger Ingenieurschule ein; vier Jahre später wechselte er an die dortige Militärische ingenieurtechnische Universität, wo er bis 1857 Befestigungswesen studierte. Anschließend wurde er an der Ingenieursakademie Dozent für dieses Fach und 1878 Professor. In späteren Jahren wurde er zum Generalleutnant ernannt. Neben seiner Militärkarriere beschäftigte sich Cui jedoch weiterhin mit Musik: 1856 traf er mit Mili Balakirew zusammen, der ihn in den folgenden Jahren musikalisch anleitete, und setzte mit diesem den Grundstein für die so genannte Gruppe der Fünf, die auch als „das mächtige Häuflein“ bezeichnet wird. Besonders tat er sich als Musikkritiker hervor, der zunächst vehement die Ästhetik des "Mächtigen Häufleins" propagierte. Später distanzierte er sich von dieser Gruppe und schrieb teilweise sogar heftige Verrisse ihrer Werke (etwa von Modest Mussorgskis „Boris Godunow“), womit er seinen alten Gefährten nicht unwesentlichen Schaden zufügte. Auch die erste Symphonie von Rachmaninow verglich er in einer Kritik aus dem Jahre 1897 mit einer "Programmsymphonie über die sieben ägyptischen Plagen".