原形の41両は静岡（1両：C62 5）、浜松（2両：C62 6・28）、梅小路（6両：C62 31・32・34・40・43・44）、宮原（4両：C62 35・36・41・42）、姫路第二（3両：C62 29・30・33）、岡山（6両：C62 17・24・25・37・38・39）、糸崎（7両：C62 2・3・4・8・12・15・22）、広島第二（5両：C62 1・7・9・14・26）、下関（7両：C62 10・11・13・16・18・23・27）の各機関区に分散配置され、東海道本線・山陽本線にて既存のC59形と共通運用で運転が開始された。当初は敗戦直後の困窮がまだ続いていたこともあり、長大編成の急行・普通列車の牽引に充当された。なお、東北本線・常磐線の輸送力強化のため、1949年（昭和24年）6月までに初期製造のうちの11両（C62 7 - 11・22 - 24・37 - 39）が軽軸重形に改造のうえ尾久、宇都宮、白河、水戸の各機関区に転出している。1950年（昭和25年）10月1日ダイヤ改正で、東京 - 大阪間の特急「つばめ」・「はと」を従来より1時間短縮した8時間で運転することとなり、運転曲線と牽引する客車の換算両数が再検討され、C59形では性能的に限界に近いと判断された。このため、当時東海道本線・山陽本線で運用されていたC62形各車は浜松、名古屋、梅小路、宮原の4区に集中配属となり、中でも特に調子の良いものが宮原、浜松の両機関区に集められ、これらを整備の上、当時非電化の浜松 - 京都間から戦前に電化されていた大阪駅までの牽引に充てることとなった。宮原機関区では配属車両の中でもC62 29・35をはじめとする好調機、普通機、C62 2などの不調機と、識別のためにそれぞれナンバープレートの色を変更した上で3グループに分けられ、トップグループから優先的に急客牽引に充当された。本形式はこの特急運用においてその性能を発揮し列車運転時分の短縮に貢献したが、特に宮原機関区では、機構上の制約から、スクリュー状の送りねじを回転させて給炭するため、途中で石炭が粉砕されやすく投炭時に石炭くずが発生しやすい自動給炭機の使用を制限し、人力投炭を行うことによって、乗客に不快感を与えるシンダ（煙突から排出される石炭の燃えカス）の発生を抑止するという、本形式の大きな火格子面積や、関ヶ原越えを含む厳しい線路条件による燃料要求量を勘案すると過酷な投炭方法を実施していたと伝えられている。東海道本線の電化区間が名古屋、稲沢、米原と西に伸びるに従って、本形式をはじめとする本線用蒸気機関車の運用区間は縮小されていったが、1956年（昭和31年）11月19日ダイヤ改正における東海道本線全線電化完成により、全区間でその座をEF58形電気機関車に譲るまでは非電化区間で特急「つばめ」・「はと」の牽引機を務め、1954年以降は名古屋機関区と宮原機関区所属車の一部に重油併燃装置を取り付けて特急「つばめ」・「はと」の牽引定数をそれまでの500 t から550 t に引き上げた。東海道本線で運用されていた本形式は、電化の進行に伴い7両（C62 2・3・27・30・32・42・44）が軽軸重形に改造のうえ後述する北海道へ転出したが、多くは梅小路、広島第二、さらに下関などの機関区へと転属し、C59形とともに山陽本線を主な運用区間として京都 - 博多間の特急「かもめ」や寝台特急「あさかぜ」・「さちかぜ」・「はやぶさ」・「みずほ」、急行「きりしま」・「筑紫」・「雲仙」・「阿蘇」などの、当時を代表する優等列車の牽引に充当された。だが、1958年（昭和33年）8月14日に岩国市付近の踏切にて、上り特急「かもめ」を牽引していたC62 4と進駐軍のトレーラートラックが衝突する事故が発生し、同機は1960年（昭和35年）1月27日付でC62形最初の廃車機となっている。1956年（昭和31年）11月19日ダイヤ改正の寝台特急「あさかぜ」新設後も山陽本線を通る優等列車は増強され、1958年（昭和33年）10月1日ダイヤ改正に「あさかぜ」用として登場し、以後1959年（昭和34年）7月20日ダイヤ改正での寝台特急「さくら」運転開始などで増備が続けられた20系客車も姫路 - 下関間では本形式が牽引した。しかし、特急「かもめ」が1961年（昭和36年）にキハ82系の導入で気動車化され、寝台特急や急行列車の牽引区間も幹線電化の進展によって姫路駅、岡山駅、ついで広島駅以西と次第に狭められていき、1964年（昭和39年）10月1日には山陽本線の全線電化完成に伴い定期特急運用が一旦消滅、下関機関区配置車は全車が電化完成前日の9月30日に広島機関区（旧広島第一機関区）・広島運転所（旧広島第二機関区）へと転属した。広島機関区・広島運転所の配置車は急行「音戸」の広島 - 下関間など電化から漏れた山陽本線西部・岩徳線の一部列車に充当され、1965年からは山陽本線の補助線として特別甲線規格で整備されていた呉線を受け持つため蒸気機関車の配置区として残されていた糸崎機関区に広島機関区・広島運転所から本形式が順次転属、呉線経由で運転されていた急行「安芸」などを糸崎 - 広島間で牽引する運用へC59形とともに充当され続けた。もっとも、これらの運用に充てられた本形式も急行「音戸」の広島 - 下関間牽引は1966年（昭和41年）9月で電気機関車に置き換えられ、1967年（昭和42年）には岩徳線運用のD51形置き換えにより広島機関区・広島運転所の配置車が全廃となるなど次第に数を減らし、呉線直通列車以外の山陽本線運用は糸崎機関区からの機関車回送を兼ねて残された糸崎 - 広島間の下り普通列車1本と一部の臨時列車を除き1968年（昭和43年）10月1日ダイヤ改正までに消滅した。呉線の運用では、1967年（昭和42年）10月1日の常磐線全線電化（後述）で余剰となった軽軸重形5両（C62 23・37・46 - 48）が同年10月上旬から順次平機関区から糸崎機関区に転属、同区で廃車対象となっていた重軸重形5両（C62 5・14・18・25・34）を置き換えた一方で軽軸重から重軸重形への改造は行われないまま使われていたが、編成重量が呉線内の単機牽引定数一杯となる12両編成、460 t であった急行「音戸」を牽引した際には16‰前後の勾配区間が連続する安登駅周辺で空転が頻発したため、1969年1月から編成重量の比較的軽い「安芸」は重軸重・軽軸重形問わず本形式の牽引が基本となる一方、「音戸」などの重量列車牽引はより軸重の重いC59形限定運用と分離され、同年中には軽軸重形3両（C62 46 - 48）が検査期限の都合もあり廃車となった。さらに1970年（昭和45年）3月にはC62 41が検査期限切れで廃車となり、糸崎機関区では本形式に運用の余裕がなくなったことから一部の旅客列車運用をD51形が代走することもあった。呉線の電化工事は1970年（昭和45年）8月に完成、同月22日からは一部の蒸気機関車牽引列車に電気機関車を連結して訓練を行う電蒸運転、9月15日からは上り「安芸」などで電機単独運転も行われるようになり、山陽本線・呉線での運用は1970年（昭和45年）9月30日が最後となった。最後まで運用された5両のうち2両（C62 15・16）は小樽築港機関区へ転属、C62 17は稲沢第一機関区を経て名古屋市内へ保存の手配がとられたが、常磐線電化による転属車で最後まで残った2両（C62 23・37）は廃車となり、糸崎機関区からは本形式の配置がなくなった。これをもって、C62 1の新製配置以来22年に渡った、東海道・山陽本線系統での運用に終止符が打たれた。