Ferrer giftet seg med Leilani Sarelle i 1991 og de fikk to sønner sammen. De skilte seg i 2003. I 2005 giftet han seg med Lori Weintraub og de fikk én sønn sammen.