Der neue Zar belohnte Tschernyschow für dessen Treue und Dienstbarkeit: 1826 wurde Tschernyschow in den Grafenstand erhoben, 1827 zum General der Kavallerie ernannt und in den Staatsrat berufen. 1828 wurde Tschernyschow geschäftsführender Kriegsminister und dann von 1832 bis 1852 russischer Kriegsminister. Diese Position nutze Tschernyschow zu umfangreichen Änderungen im russischen Militärwesen. So wurde unter seiner Führung das erste Gesetzbuch für die russischen Streitkräfte verfasst. Bedeutender war aber, dass sich in den 20 Jahren unter Tschernyschow als Kriegsminister die Stärke der russischen Streitkräfte fast verdoppelte. Diese enorme Vergrößerung des Militärapparates wurde jedoch nicht von angemessenen Strukturanpassungen begleitet, insbesondere nicht in der Logistik und dem Sanitätswesen, noch wurde die Ausrüstung auf aktuellen Stand gebracht. In diesen Mängeln wird heute eine der Ursachen für das nachteilige Abschneiden der russischen Streitkräfte im Krimkrieg (1853–1856) gesehen, das folgerichtig zu einem erheblichen Teil Tschernyschow angelastet wird.