Ο Κλέμπνικοφ γεννήθηκε στη Νέα Υόρκη από οικογένεια Ρώσων μεταναστών με μακρά στρατιωτική και πολιτική παράδοση: Ο προ-προ-προ-πάππους του, Ιβάν Πούσκιν, είχε συμμετάσχει στην Εξέγερση των Δεκεμβριστών το 1825 και είχε εξορισθεί στη Σιβηρία από το τσαρικό καθεστώς, ενώ από την άλλη ο προπάππους του, ως ναύαρχος του στόλου του Λευκού Στρατού, είχε δολοφονηθεί από Μπολσεβίκους.