Sammen med Albrecht von Roon, hvis utnevnelse Manteuffel hadde vært pådriver for, ble samtidig med ham rådgiver for monarken. Manteuffel fikk også lempet det slik at Helmuth von Moltke ble utnevnt til sjef for generalstaben. Slik kan man si at Manteuffel fikk som sjef for miliærkabinettet en temmelig sterk posisjon. Men man hadde kanskje overvurdert hans politiske teft, og ham ble tilskrevet en uheldig og heller reaksjonær tendens. Slik ble han av i 1861 ufordelaktig omtalt i juristen og politikeren Karl Twestens brosjyre som en «katastrofal mann i en katastrofal stilling » (). Dette angrepet på hans embedsførsel besvarte Manteuffel ed en tfordring til duell, hvorfra Twesten kom fra det med et sår, og Manteuffel med en kort arrest i Magdeburg.