まず、1949年（昭和24年）3 - 4月に落成した軽軸重形の8両が尾久（5両：C62 45 - 49）、宇都宮（3両：C62 19 - 21）の各機関区に分散配置された。さらに、山陽本線沿線の機関区に新製配置された初期製造車のうち、11両が軽軸重形に改造の上、同年6月までに尾久（2両：C62 38・39）、宇都宮（1両：C62 8）、白河（3両：C62 9 - 11）、水戸（5両：C62 7・22 - 24・37）の各機関区に転属、、東京以北区間でのC62形運用はこれら19両で開始された。運用開始から約半年を経た1949年末から1950年（昭和25年）9月にかけて尾久・宇都宮・水戸配置車は白河機関区と平機関区へ転配が行われ、白河機関区の11両（C62 8 - 11、19 - 23・37・38）は東北本線の白河以南、平機関区の8両（C62 7・24・39・45 - 49）は常磐線の平以南で急行列車・長距離普通列車を中心に運用されていた。その後東海道本線の電化が進み、1955年（昭和30年）以降にC59形が白河以南の東北本線用として宇都宮機関区へ転属、さらに仙台以南まで運用区間が拡大されたことから白河、福島第一、仙台の各機関区へも配属されることとなり、本形式はC59形の東北本線転用が始まる直前の1954年（昭和29年）9 - 11月にかけて白河機関区所属車が尾久機関区に転配、常磐線中心に運用されることとなり、入線区間も平以北へ伸び仙台まで列車を牽引することとなった。なお、1960年代の初めごろまでは、朝・夕の通勤・通学時間帯に運転される東京駅乗り入れの常磐線の普通列車（正確には、東京側の始発・終着駅は新橋駅）を牽引していたこともある。また、臨時列車の牽引では高崎線にも入線したことがあった。1958年（昭和33年）10月1日ダイヤ改正からは新設された特急「はつかり」の上野 - 仙台間（常磐線経由）の牽引機に抜擢され、「はつかり」を受け持つこととなった尾久機関区へは平機関区から2両（C62 7・39）が転属、特急運転に備えてC62 7・10・11・20・22・37の逆転機を動力逆転機から手動のねじ式逆転機へと改造した。動力逆転機のまま残ったC62 8・9・19・23・38・39と平機関区配置車（C62 24・45 - 49）も整備上の問題から逆転機駆動部のカバーを外しただけでなく、上野 - 仙台間を機関車交換なしの通し運用とすることから、炭水車の上部に囲いを設け石炭搭載量を増す改造が尾久・平機関区配置車に実施された。特急「はつかり」は、運転開始からわずか2年後の1960年（昭和35年）12月10日に新開発のキハ80系気動車へ置き換えられ、一時は本形式による特急仕業が消滅したが、尾久・平の両機関区に引き続き本形式が配置され、「みちのく」・「十和田」といった客車急行牽引の主力機として重用された。もっとも、1963年（昭和38年）に常磐線の平駅（現・いわき駅）以南の交流電化工事が完成し、尾久機関区配置の本形式による運用はEF80形電気機関車によって置き換えられた。このため、常磐線系統における本形式の運用は、以後、平 - 仙台間のみとなった。電化の進展により余剰となった尾久機関区配置の一部（C62 7・8・9・11・19・20）は水戸機関区を経て東北本線の仙台 - 青森間で旅客列車の輸送力を増強、C60形を東北本線から奥羽本線に転属させる検討が行われていた仙台機関区へ転属、同じ目的で小樽築港機関区から42も仙台に転属し、一旦は仙台機関区配置のC60形・C61形運用の一部を置き換える形で平 - 仙台間を中心に活躍を始めて急行「十和田」1往復や「おいらせ」も牽引したが、仙台機関区では本形式配置後燃料や潤滑油消費の増大が車両管理側から指摘され、また当時の長町 - 盛岡間では本形式を上回る自重のD62形が運用され、本形式とほぼ同じ軸重のC60形は青森まで運用されていたものの、自重の大きい機関車の入線が増えることによって保線側から軌道への悪影響が懸念されただけでなく、既にDD51形ディーゼル機関車の量産が始まっていたこともあり、仙台以北での本格的な運用実現には至らなかった。そのため、仙台機関区に配置された本形式は一度転属させたC60形を戻すといったことも行われて1964年（昭和39年）に4両（C62 8・19・20・42）を廃車、残りの3両（C62 7・9・11）も1965年度中に廃車となっている。その後、1965年の東北本線盛岡駅電化の際に急行「北斗」の格上げで新設された20系による寝台特急「ゆうづる」（5・6列車）は所要時分短縮のために平坦な常磐線経由で運転されることとなり、非電化のままの平 - 仙台間については平機関区配置の本形式がその牽引機に抜擢されることとなった。以後、本形式の全廃までの間に本形式が配置された各線区で寝台特急が新規設定される事例はなかったため、この「ゆうづる」は本形式が牽引する最後の定期特急列車となった。なお、この「ゆうづる」には黒岩保美デザインのヘッドマークが掲げられていた。「夕日をバックに飛翔する鶴」を描いたこのマークは、同列車が最後の蒸気機関車牽引特急となることを念頭に置いて、本形式に装着した際に最も映えるように配慮してデザインしたことを、後年になって黒岩本人が証言している。彼は、計画段階で列車重量と経由路線からこの新設寝台特急がC62形牽引となることを推定し、しめたと思ったと述懐している。新設時の「ゆうづる」は当時最新かつ軽量構造の20系客車を用い、現車13両、換算41両、つまり総重量410 t と比較的軽量の編成となっており、新製時の性能査定に基づいたダイヤ編成では特に問題なく運用可能のはずだった。だが、運転開始時点でC62形は既に車齢16年以上が経過し、しかも平機関区へ配置されていた12両はいずれもコンディションが決して良好とは言い難かった。そのため、比較的平坦な常磐線とは言え、平から仙台までの150 km を無停車のまま2時間15分（上り：表定速度約67 km/h）で走破する、新製直後のグッドコンディションを前提とした性能査定に基づく厳しいダイヤ設定から、この「ゆうづる」は定時運行維持が困難と予想され、運転開始前の1965年9月に品川客車区配置の20系予備車を連ねた15両編成を用い、田端操車場と青森駅の間で本運用に準じたダイヤでの試運転が実施された。この試運転の結果、発熱量約6,500kcal/hで、夕張・常磐・筑豊など各産地の異なるグレードの石炭を各機関区でブレンドした通常使用の石炭では火力不足から所定のダイヤでの運転が困難で、しかも仙台到達時点で石炭も水もほとんど使い果たすという非常に厳しい状況であることが判明した。このため営業運転の際には特にこの「ゆうづる」の運用（SL甲組 仕業番号1）に限り、北海道夕張産の、高カロリーかつ排煙の少ない良質粉炭とピッチを混合・成形したもので、乗務員からは特級（急）豆炭と呼ばれた発熱量8,000kcal/hの甲種練炭限定搭載として機関車性能の底上げが行われ、また、ダイヤ上もあらかじめ設定されていた3パーセントの余裕時分を最大限に活用することで、かろうじて定時運行の維持が図られた。こうして老朽化した本形式を用いて限界ぎりぎりの運用を実施した「ゆうづる」も、運転開始から2年後の1967年（昭和42年）10月1日には同区間の電化完成でED75形電気機関車の牽引に切り替えられた。電化工事そのものの完成は同年7月30日であり、客車急行や一部普通列車は、順次ED75形の牽引となり、特急「ゆうづる」も下り5列車が8月20日よりED75形の牽引に切り替えられ、上り6列車牽引の本形式は203列車で平から仙台へ送り込むように変更された。だが、9月中旬に線内で起こった土砂崩れの影響で、電化に伴う新線切り替え区間が不通となったため、やむなく非電化の在来線に戻して列車運行を実施、この関係で「ゆうづる」は復旧作業中の約1週間にわたって全列車が本形式での牽引となった。その後、下り5列車はED75形牽引に戻ったが、ダイヤ改正前の9月30日まで上り6列車は本形式による牽引が維持された。その後、平機関区に最後まで在籍した本形式12両は、状態が比較的良好な5両（C62 23・37・46 - 48）が呉線を担当する糸崎機関区へ転属、不調気味の6両（C62 10・22・24・38・39・45）が1967年（昭和42年）11月24日に除籍、解体となった。保存が検討された本形式ラストナンバーのC62 49は、一時保留とされ平機関区に保管されたが、結局、引き取り手が見つからず、1968年（昭和43年）6月13日に除籍、解体処分に付されている。