Olive tuvo dos matrimonios fallidos y mantuvo una relación sentimental con el actor George O'Brien.