Rockefeller returnerte til offentlig tjeneste i 1950 da president Harry S. Truman utnevnte ham til styreformann av International Development Advisory Board. Dette styret hadde oppgaven med å utvikle en plan for å implementere presidentens Point IV-program for å yte teknisk assistanse utenriks. I 1952 spurte President-Elect Dwight D. Eisenhower Rockefeller om å lede presidentens Advisory Committee on Government Organization for å anbefale måter å forbedre effekt og effektiviteten av den føderale regjeringens utøvende gren. Rockefeller anbefalte 13 reorganiseringsplaner som alle ble implementerte. Planene implementerte organisasjonsendringer i forsvarsdepartementet, kontoret for forsvarsmobilisering og landbruksdepartementet. Hans anbefalinger førte også til opprettelsen av Helse-, utdannings- og omsorgsdepartementet (HEW). Rockefeller ble utnevnt til undersekretær for dette nye departementet i 1953. Rockefeller var aktiv i HEWs lovprogram og implementerte tiltak som la til 10 millioner personer inn i Social Security-programmet.