Une grande partie de l'administration s'opposa toutefois aux initiatives de Carter, et la politique des droits de l'homme menée de manière plus affirmative par ce dernier lors de sa présidence fut entachée par la discorde qui s'installa rapidement parmi ses collaborateurs. Derian et le directeur de la planification politique du département d'État Anthony Lake estimaient que la prise en considération du volet sur les droits de l'homme amélioraient grandement l'efficacité de la diplomatie américaine à l'étranger, alors que le conseiller à la sécurité nationale Zbigniew Brzeziński tenait à traiter en priorité les questions relatives à la Guerre froide. Ces divergences de point de vue atteignirent leur paroxysme en 1979, lors de la chute du régime du Kampuchéa démocratique dirigé par le dictateur Pol Pot, coupable de génocide, à la suite de l'invasion du Cambodge par le Viêt Nam. Brzeziński obtint que l'administration refusât de reconnaître le nouveau gouvernement cambodgien en raison de ses attaches avec l'URSS. Carter fut par ailleurs critiqué par l'écrivain et militante féministe Andrea Dworkin pour avoir ignoré le problème du droit des femmes en Arabie saoudite.