Robinson var gift to ganger: i 1927 til skuespilleren Gladys Lloyd, og, etter skilsmissen i 1956, i 1958 til moteskaperen Jane Bodenheimer (kjent profesjonelt som Jane Arden).