Florentz var gift to ganger, første gang med Adelaide Kloumann, datter av sorenskriver og eidsvoldmann Peder Jørgen Cloumann. Han giftet seg andre gang i 1813 med Anna Dorothea Rye, datter av oberstløytnant Mathias Andreas Rye og søster til Johan Henrik Rye og den kjente offiseren Olaf Rye.