Daniel Carroll pochodził z wpływowej i prominentnej rodziny. Jego kuzyn Charles Carroll z Carrollton był sygnatariuszem Deklaracji Niepodległości Stanów Zjednoczonych. Jego inny kuzyn, Charles Carroll “Barrister”, był delegatem stanu Maryland w Kongresie Kontynentalnym. Z kolei jego starszy brat, John Carroll był pierwszym biskupem kościoła rzymskokatolickiego w Stanach Zjednoczonych, a jego siostrzeniec, Richard Brent, był członkiem Izby Reprezentantów Stanów Zjednoczonych oraz Senatu Stanów Zjednoczonych z Wirginii.