Harrison var gift seks ganger. I 1942 skilte han seg fra sin første kone, Colette Thomas, og giftet seg med skuespillerinne Lilli Palmer i 1943. Paret spilte sammen i mange teaterstykker og filmer, inkludert . I 1947, mens han var gift med Palmer hadde Harrison en affære med skuespillerinne Carole Landis. Landis begikk selvmord i 1948 etter å ha tilbrakt kvelden med Harrison. Harrisons engasjement i skandalen rundt Landis' død gjorde skade på hans karriere.