Både Joseph og Samuel var gift med døtre av plantasjeeieren James DuBose i Charleston. I 1718 ble broren Samuel og nevøen tatt som gisler av sjørøveren Blackbeard, og Samuel Wragg forhandlet med Blackbeard for regjeringen i Charles Town og avtalte å sende medisiner til sjørøverrepublikken på Nassau, Bahamas.