Jarkho gikk ut av universitetet i Moskva og var stipendiat ved universitetene i Heidelberg og Berlin. Fra 1915 til 1921 var han lærer ved universitetet i Moskva, først som privatdosent og siden som professor. Han var medlem av den språkvitenskapelige Moskva-gruppen.