Quincy var far til Josiah Quincy III, president av Harvard University, borgermester av Boston, og medlem av Representantenes hus, og var selv sønn av oberst Josiah Quincy. Han var en etterkommer av Edmund Quincy som utvandret til Massachusetts i 1633. Hans kusine var Dorothy Quincy, guvernør John Hancocks hustru. Han var også en fjern slektning av John Adams via den andre presidentens ekteskap med Abigail Smith Adams.