Sandys hadde en affære med en sigøynerkvinne ved navn Keomi og hvis portrett han malte. I mange år levde han sammen med en velkjent skuespiller ved navn Mary Jones, scenenavn Miss Clive, og hun var også modell for en rekke av hans malerier. Han fikk hele ni barn med henne som overlevde barndommen. Hans skjødesløse livsstil, hans liv med kvinner og med alkohol ga ham betydelige økonomiske problemer.