Fridtjov Clemet giftet seg i 1957 med Berit Schjeide, som har vært kommunepolitiker for Høyre i Oslo. Datteren Kristin Clemet har vært statsråd og stortingsrepresentant, Hun er gift med tidligere stortingsrepresentant Michael Tetzschner. Barnebarnet Jenny Clemet von Tetzschner er også Høyre-politiker.