Mississippi State Senate
Kyle besuchte die Law School der Cumberland University. Nachdem er sein Studium 1874 abgeschlossen hatte, wurde er im selben Jahr in die Anwaltschaft aufgenommen und praktizierte in Sardis. Von 1879 bis 1881 hatte Kyle das Amt des Bürgermeisters der Stadt inne und war im Anschluss von 1881 bis 1885 Senator im Senat von Mississippi. Von 1886 bis 1890 war er Mitglied der "Mississippi Railroad Commission".