Kyhn studerte ved Universitetet i Oslo og ble cand.theol. i 1870, og fra 1871 var han sogneprest til Vardø. Kyhn var videre prost i Nordvaranger prosti, deretter ble han sogneprest til Hadsel i Nordland i 1878 og samtidig fra 1880 også prost i Vesterålen.Mens han virket som prest i Vardø var han dessuten i en periode på to år, i 1874 og 1875 (valg for hele år), kommunens ordfører.