Ná sy heengaan het ds. G.E. Bruwer, Organiserende Sekretaris van die Genootskap, van ds. Steyn getuig: "Hy was inderdaad groot van visie en 'n geliefde man … Danksy sy meesterskap oor albei landstale, was hy 'n gesogte prediker, ook onder sy Engelssprekende landgenote. In die hoogste vergaderings van die Britse en Buitelandse Bybelgenootskap in Londen het sy rype ervaring, sy deeglike taalkennis en sy administratiewe bekwaamheid hom verhef tot die gesaghebbende oor Suid-Afrikaanse aangeleenthede." Toe hy ná meer as drie dekades aftree, het sy opvolger ds. J.T.M. de Jongh van Arkel, verklaar: "Die Bybelgenootskap sonder ds. H.P.M. Steyn – dit was ondenkbaar! 'n Mens kan jou so 'n toestand nie voorstel nie! Oor 'n periode van 33 jaar het die man en die saak so inmekaar gegroei dat die twee feitlik een geword het … Toe ds. Steyn in 1922 die sekretariaat vir Kaapland aanvaar het, was dit voorwaar 'n swak kindjie wat hy in sy arms geneem het … Met al sy talente het die nuwe sekretaris die kindjie versorg en vertroetel, met die gevolg dat dit tot 'n sterk, gesonde en lewenslustige man gegroei het."
Uit erkentlikheid vir die diens wat hy aan sy volk en kerk bewys het met die vertaling van die Bybel en die verspreiding daarvan, is die graad D.Phil. honoris causa, in Desember 1954, kort voordat hy in Februarie van die volgende jaar sou aftree, deur die Universiteit Stellenbosch aan hom toegeken.
Steyn was die seun van Jan Daniël Steyn en sy vrou, Louisa Steyn. Hy het sy vroeë jeugjare deurgebring in die distrik Utrecht, wat toe nog deel van die ZAR was. Hy het eers op die plaas skoolgegaan waar sy pa ’n groot beesboerdery gehad het en daarna op die dorp. Met die uitbreek van die Tweede Vryheidsoorlog (1899–1902), het hy hom as dertienjarige penkop by die Boeremagte aangesluit nadat hy op die punt gestaan het om na Stellenbosch te gaan vir sy voorbereidende studie met die oog daarop om aan die Kweekskool as predikant opgelei te word.
Ná die Driejarige Oorlog het hy 'n tyd lank op die plaas van sy vader in die distrik Ermelo geboer, maar in 1905 in diens van 'n sakeonderneming getree. Twee jaar het die drang na die evangeliebediening by hom so groot geword dat hy op 21-jarige leeftyd op eie onkoste na Stellenbosch vertrek het, waar hy binne drie jaar in die matrikulasie-eksamen geslaag het. Ds. A.P. Smit skryf: “Hy was 'n uitmuntende student. In sy matriekjaar verower hy op een na al die pryse in die skool in Nederlands, Grieks en Latyn.” Ná aflegging van die Intermediêr aan die Victoria-kollege het die ernstige jongman het hom so ooreis dat hy genoodsaak is om ter wille van sy gesondheid 'n reis na die buiteland te onderneem.
Deur sy oorsese reis het hy sy kragte herwin en sy studie in Amerika voortgesit. Tydens sy studie in die letterkunde en teologie aan die Teologiese Seminarie van Princeton in die VSA, het hy hom as 'n knap en hardwerkende student, veral in Hebreeus, Grieks en Latyn, onderskei. Hy het ook 'n verhandeling in Latyn geskryf.
Op Steytlerville het ds. Steyn hom uit die staanspoor bewys as 'n uithaler-organiseerder en besonder harde werker: binne drie jaar is die groot gemeenteskuld uitgewis en beywer hy hom met besondere welslae vir die onderwys van die jeug.
In die dienstyd van ds. Steyn het die Kerkraad die moedige besluit geneem om die hotel en drankwinkel te sluit. Hy teken sy laaste notule op 3 Desember 1921. Ds. Steyn was sterk van liggaamsbou, opgeruimd, toeganklik en met 'n sterk persoonlikheid. In sy dienstyd van drie jaar het hy diep spore op Steytlerville agtergelaat.
Aanvanklik was hy slegs vir Kaapland en Suidwes-Afrika verantwoordelik, maar in 1948 het hy algemene sekretaris van die Genootskap vir die hele suidelike Afrika geword. Sy organisasietalent en welsprekendheid in albei landstale, maar veral sy ywer en toewyding, het van hom die aangewese persoon gemaak vir die taak van Bybelverspreiding. Jaarliks het hy van 24 000 tot 32 000 kilometer afgelê en selfs afgeleë uithoeke in Noord-Rhodesië (Zambië), die Belgiese Kongo (Zaïre) en die verre noorde van Suidwes-Afrika (Namibië) besoek. Hy het die werk van die Bybelgenootskap in Suid-Afrika gereorganiseer, Bybelhuise in Kaapstad, Johannesburg en Durban opgerig en hom met welslae beywer vir die vertaling van die Bybel in steeds meer Bantoetale. In die hoogste kringe van die BBBG in Londen is Steyn vanweë sy rype ervaring, deeglike taalkennis en administratiewe bekwaamheid erken as die gesaghebbende oor Suid-Afrikaanse aangeleenthede.
Steyn sal veral onthou word weens sy groot aandeel in die totstandkoming van die Bybel in Afrikaans. Hy het veral bekommerd gevoel oor die Afrikanerjeug vir wie Nederlands as Bybeltaal mettertyd ál meer 'n vreemde taal en moeiliker verstaanbaar geword het, en het al sy kragte van oorreding aangewend om steun van die Bybelgenootskap vir dié aangeleentheid te verkry. Dit was geen maklike taak nie, want hy het sterk teenstand ondervind van sy eie mense, vir wie die gedagte van 'n Bybel in Afrikaans onaanvaarbaar was. Sy liefde vir die saak en oortuigingskrag het die Genootskap egter oorreed om die taak op eie koste te steun en die Vier Evangelies en die Psalms het in 1922 as proef en in 1929 as amptelike vertaling verskyn. As sekretaris van die BBBG het hy ten nouste saamgewerk met die latere Bybelvertalers. Dikwels het sy sienswyse die beslissings in moeilike gevalle beïnvloed en dit was aan sy administratiewe en organisatoriese aanleg en onvermoeide ywer te danke dat die volledige Bybel in Afrikaans in Mei 1933 in plaas van die einde van daardie jaar verskyn het.
Steyn was die eerste persoon wat die Afrikaanse Bybel op die kansel gebruik het en wel in die NG kerk in Oos-Londen op 4 Junie 1933. Kort ná die verskyning van die volledige Bybel, het Steyn die voortou geneem vir 'n hersiening daarvan, want fyn taalkundige wat hy was, wou hy verseker dat die Bybel slegs in die keurigste Afrikaans sou verskyn. Toe die hersiene uitgawe in 1953 die lig sien, het hy daarvoor gesorg dat dit in 'n groot verskeidenheid uitgawes versprei word en het hy die bynaam "Bybel-Steyn" verwerf.
Onder die bekwame leiding van ds. Steyn is toe gereël dat die Afrikaanse Bybel by geleentheid van 'n Bybelfees op Sondag 27 Augustus 1933 in elke gemeente van die drie Afrikaanse Kerke (die NG Kerk, NHK en GKSA) amptelik in ontvangs geneem sou word. In daardie belangrike Bybeljaar het ds. Steyn hom uitermate ingespan vir die goeie saak. Hy lê meer as 12 100 myl af en besoek nie minder nie as 50 gemeentes, en pleit vroeg en laat, veral by die Afrikaanssprekendes, om die Bybel te lees, te bestudeer en toe te pas in eie lewe. Dit was veral op sy aandrang dat die NG Kerk sy lidmate gevra het om 'n spesiale dankoffer met voormelde Bybelfees te gee, 'n offer wat teen die einde van daardie jaar reeds £16 000 beloop het. Die sentrale Bybelfees het in Bloemfontein plaasgevind. 'n Skare van 5 000 het die groot Marksaal volgesit en met heilige ontroering die Afrikaanse Bybel in ontvangs geneem. By daardie geleentheid is spesiaal gebonde eksemplare aan die eindvertalers geskenk. By 'n latere geleentheid is ook spesiale geskenk-eksemplare aan die moderators van die Afrikaanse Kerke asook ander hoogwaardigheidsbekleërs oorhandig. Daar is selfs 'n prageksemplaar aan die Koningin van Nederland versend. In die namiddag van daardie sentrale Bybelfees in Bloemfontein, het ds. Steyn 'n skare van 6 000 studente en leerlinge in die Marksaal toegespreek.
Nouliks het die Afrikaanse Bybel verskyn of ds. Steyn neem die leiding vir die hersiening van die teks. Hy nader die eindvertalers hieroor persoonlik en spoor hul aan om die werk dadelik aan te pak. Taalfynproewer soos hy was, wou hy seker maak dat die Bybel in die allerbeste Afrikaans verskyn. So sou die Bybel 'n standardiserende invloed uitoefen op Afrikaans wat as skryftaal toe nog betreklik jonk en derhalwe in meer as een opsig nog vloeibaar was. Twintig volle jare (1933– '53) is moeisaam aan die grondige hersiening bestee. Ook hierdie blye dag is hy gegun toe hy op 30 Augustus 1953 met die groot Bybelfees op Stellenboschdie prag-eksemplare van die Kanselbybel in die hersiene teks aan hoogwaardigheidsbekleërs kon oorhandig. Danksy sy ywer en ondernemingsgees is hierdie hersiene Afrikaanse Bybel hierna in 'n ryke verskeidenheid uitgegee.
Toe ds. Steyn aan die begin van 1955 op die punt staan om af te tree, het 'n woordvoerder van die Genootskap hom soos volg hieroor uitgelaat: “Toe ds. Steyn destyds in Januarie 1922 as Sekretaris van Kaapland die werk aangeneem het, was die depot in Langmarkstraat 150 geleë en het dit bestaan uit slegs een kamer met 'n personeel bestaande uit die sekretaris, 'n toonbankklerk en 'n pakker. Die pakker was oorkant die straat, ook in 'n enkele kamertjie. In Johannesburg was hulle gehuisves in 'n bouvallige geboutjie met ook slegs drie lede in die personeel. In Durban het hulle saam met 'n ander onderneming een kamer gedeel en hul verteenwoordiger daar was 'n pensioentrekker met 'n Zoeloe-bediende. Ds. Steyn het gevoel dat dit 'n oneer was aan die Woord van God om in sulke treurige omstandighede gehuisves te wees en het dadelik begin werk om sake te verander. Reeds aan die einde van sy eerste jaar het hy daarin geslaag om 'n drieverdiepinggebou vir die Bybelgenootskap op die huidige standplaas te Groentemarkplein aan te koop. Hy het altyd sy oog op daardie plek gehad, omdat hy aan die toekoms gedink het en 'n sentrale plek vir die Woord van God in die Moederstad wou hê. Hy het ook volgehou totdat daar in Kaapstad, Johannesburg en Durban in baie prominente posisies drie deeglike Bybelhuise verrys het. Van daardie Bybelhuise gaan daar in normale tye jaarliks sowat 'n halfmiljoen Bybels en Bybeldele in meer as 100 tale na die Unie (van Suid-Afrika) en omliggende dele uit.”
Terwyl sy dogter hom van die Bybelhuis in Kaapstad na sy woning in Pinelands vervoer het, is hy plotseling in die motor oorlede. As teks vir sy begrafnisrede het ds. H.C. Kinghorn van die gemeente Pinelands, Ester 10:3 gekies: "Hy was groot en 'n liefling by die menigte van sy volk."