Gustaf Düben var sønn av Anders Düben den eldre, en tysk innvandrer som virket som hoffkapellmester og organist i Stockholm. I 1647 gikk Gustaf Düben inn i og etterfulgte i 1663 faren som hoffkapellmester. Senere ble også sønnene Gustaf von Düben den yngre og Anders von Düben den yngre hoffkapellmestere, hhv. i periodene 1690–1698 og 1698–1726. Datteren Emerentia von Düben var hoffdame og nær venn av dronning Ulrika Eleonora av Sverige. En tredje sønn, friherre Joachim von Düben den eldre var svensk hovkansler og riksråd.