Rosenkrantz mistet etter hvert sin innflytelse, mye på grunn av sin kritiske holdning til pietismen som Christian VI var knyttet til. Han ble avskjediget som kancellisjef i 1735 og som medlem av Geheimekonseillet i 1740.