I 1961 giftet Flores seg med Barbara Fridell etter at de to hadde møttes som studenter på University of the Pacific. De har to sønner og en datter og fem barnebarn.