Duisenberg estaba casado con la polémica activista política Gretta Duisenberg, que provocó una fuerte controversia cuando dio a conocer un plan de recogida de seis millones de firmas en protesta por la política israelí en los territorios ocupados.