Fladmoe giftet seg i 1940 med pianisten Esther Henriette Barratt Due, datter av Henrik Adam Due og Mary Barratt Due.