Gregory dog på sjukhus i Washington DC efter att ha blivit intagen med en oanmäld sjukdom.
Familjen delade nyheten om sin "enorma sorg" i ett inlägg på sociala medier på lördagen.
Från 1960-talet hånade Gregory rasism i sina stand-up rutiner. Han var bland de första amerikanska svarta komiker att uppträda regelbundet inför vita publik.
"Det är med enorm sorg som familjen Gregory bekräftar att deras far, komediska legend och medborgarrättsaktivist Mr Dick Gregory lämnade denna jord i kväll i Washington, DC", skrev hans son, Christian, på Instagram.
Han tillade att familjen "uppskattar utgjutandet av stöd och kärlek" men krävde att deras privatliv skulle respekteras "under denna mycket svåra tid".
Den amerikanske medborgarrättsaktivisten Jesse Jackson hyllade Gregory på Twitter:
Slut på Twitter inlägg av @RevJJackson
Gregory var en no-holds-barred komiker, leverera linjer i hans föreställningar som var benägna att höja ögonbrynen.
"En sydlig liberal?" Han sa en gång: "Det är en kille som kommer att lyncha dig från ett lågt träd."
"Segregation är inte allt dåligt," Gregory sade vid ett annat tillfälle. "Har du hört talas om en kollision där människorna i bussen blev skadade?"
Gregory deltog också i ett antal medborgarrättsaktiviteter på 1960-talet. Han kämpade mot Vietnamkriget och hans protester inbegrep ofta hungerstrejker.
Amerikansk komiker och medborgarrättsaktivist Dick Gregory har dött vid 84 års ålder, har hans familj meddelat.