Zumwalt var gift med Mouza Coutelais-du-Roche som var etterkommer fra en fransk-russisk familie som bodde i Shanghai. Hun ble med ham tilbake til USA da han returnerte dit etter den andre verdenskrig.