Gibbons giftet seg i 1930 med skuespilleren Dolores del Río, og tegnet selv huset deres i Santa Monica, en Art deco-bolig inspirert av den opprinnelig østerrikske arkitekten Rudolf Schindlers verker. Paret skilte seg i 1941, og samme år giftet Gibbons seg med skuespilleren Hazel Brooks. De var gift fram til hans død i 1960, 67 år gammel.