Gilbert var gift fire ganger (inkludert én gang med skuespillerkollega Ina Claire), og han hadde to døtre. Hans datter Leatrice Gilbert Fountain (fra hans ekteskap med stumfilm-skuespillerinnen Leatrice Joy), skrev en kritikerrost biografi om sin fars liv. Denne boken ble publisert i 1985.