Każdy sygnatariusz Deklaracji Niepodległości Stanów Zjednoczonych stawał się automatycznie przestępcą, ponieważ wyrażał sprzeciw wobec władzy króla Anglii. Podpisując dokument, Charles Carroll, który był wówczas jednym z najbogatszych ludzi w Ameryce Północnej, ryzykował między innymi konfiskatą swojego majątku. To dlatego, jak głoszą niektóre przekazy, po złożeniu przez Carrolla podpisu pod Deklaracją, jeden z obserwatorów miał powiedzieć: "I w ten sposób poszło kilka milionów", na co inny obserwator miał odpowiedzieć: "Tak, ale jest tyle osób o nazwisku Carroll, że rząd nigdy nie dojdzie do tego kto złożył ten podpis". Słysząc to, Charles Carroll miał ponownie chwycić za pióro i dopisać przy swoim podpisie słowa: "of Carrollton", czyli "z Carrollton". W ten sposób przeszedł do historii jako Charles Carroll z Carrollton.