Anton Fredrik Klaveness giftet seg i 1923 med Lucy Egeberg (1907–1992) av Egeberg (slekt fra Sjælland). I 1938 giftet han seg med Brita Zahle (1912–1974) som var datter av den danske minister/ambassadør i Berlin.