Kyhn studerte ved Universitetet i Oslo og ble cand.theol. i 1870, og fra 1871 var han sogneprest til Vardø. Kyhn var videre prost i Nordvaranger prosti, deretter ble han sogneprest til Hadsel i Nordland i 1878 og fra 1880 prost i Vesterålen.