Crosby giftet seg i 1930 med Dixie Lee, og sammen fikk de fire barn. Etter hennes død (av brystkreft) traff Crosby Kathryn Grant, og de giftet seg i 1957. Hun var jevngammel med Gary Crosby, hans eldste sønn. De fikk tre barn sammen.