Sinatra var gift fire ganger, først med barndomskjæresten Nancy Sinatra fra 1939 til 1951. De fikk tre barn sammen, inkludert artistene Nancy Sinatra og Frank Sinatra jr. Sinatra innledet etter hvert et forhold til skuespillerinnen Ava Gardner, som førte til at han skilte seg fra Nancy Sinatra i 1951. Samme år ble han giftet han seg med Gardner, men ekteskapet var ustabilt og preget av krangling, og endte i skilsmisse i 1957.