Charles Carroll stammte aus einer wohlhabenden, irisch-katholischen Einwandererfamilie. Sein Großvater Charles Carroll, the Settler (1660–1720) war 1688 aufgrund der Diskriminierung von Katholiken in Irland nach Maryland, der einzigen katholischen Kolonie unter den sonst strikt protestantischen britischen Kolonien in Nordamerika, ausgewandert und diente hier Charles Calvert, dem 3. Lord Baltimore als Militärbeauftragter. Als der katholische König James II. in der Glorreichen Revolution vom englischen Thron verjagt wurde, brach in deren Folge auch in Maryland eine Rebellion aus, die zum Ziel hatte, die katholische Kolonialverwaltung des Lord Baltimore zu stürzen. Charles Carrolls Großvater verlor aufgrund seines katholischen Glaubens sein öffentliches Amt, bekam jedoch von Lord Baltimore zum Ausgleich sechs ausgedehnte Ländereien in Maryland übertragen, die er und seine Nachkommen im Laufe der Zeit erfolgreich vermehrten. Die Familie Carroll wurde zur wohlhabendsten Familie in Maryland.