旧橋梁が影響を及ぼした負の部分も存在した。 橋梁直下の地元住民は、列車通過時の騒音のほか、様々な落下物・飛来物に悩まされていた。例としてボルト・ナット・リベット・鉄粉などの鉄道部品、雨水・つらら・氷の塊・雪庇、ガラス・空き缶、さらに自殺者もおり、また降ってくる線路・鉄橋の錆が車を傷めるなどの不安や苦労を抱えたまま生活していた。鉄橋には一時期まで小物の落下防止の金網はなく、対策用の転落防止柵も低かった。列車の運行に関しても、冬場に列車が鉄橋を渡る際、開いていた窓から突風が吹き込み、閉じていた窓ガラスが内側から割れて落下する事例が何度もあったり、前述の列車転落事故やそれによる風速規制強化により、定時性が大きく低下して鉄道輸送の不安定さが目立つようになった（後述）。橋を架け替えるにしても、その後の鉄橋について、橋脚・橋桁の残し方によって構造的な不安があること、新・旧橋梁が並列に建設された場合における風や振動による悪影響の発生、後世にわたる高額な維持管理費の負担などの可能性があると懸念された。これらの要因から、地元住民の中には鉄橋を「負の遺産」と考える者もおり、橋梁直下にある浜自治会の意向としては「新橋梁への架け替え」と「旧橋梁の全面撤去」を希望する意見に傾倒していた時期もあった。
長年にわたり地道な保守作業が行われてきたが、老朽化の進む橋梁をこのまま利用し続けてよいのか検討作業も行われた。現在線で補強改良する案とルート変更案を比較し、橋梁案も9種類を作って比較検討を行った。その結果補強には1億5500万円から2億6600万円、別線には3億8800万円から5億1800万円かかると試算されたが、1965年（昭和40年）11月に、補強することでさらに30年以上の使用に耐えるとの結論が出され、補強改良案が採用された。
完成当時は餘部駅が存在していなかったため、近隣住民は最寄の鎧駅まで列車の合間を縫って橋梁・トンネル・線路を歩いて向かっていた。特に余部村が香住町に合併してその一部となると、それまで余部にあった香住中学校の分校が本校に統合されてしまい、余部の中学生は毎日線路を歩いて通学しなければならないことになった。1955年（昭和30年）から繰り返し陳情をした結果、1959年（昭和34年）1月に駅設置が決定された。駅までの道とプラットホームを造る材料とするため、地元の子どもたちが海岸から石を運び上げる作業を手伝った。1959年4月16日に餘部駅が橋のすぐ西隣に開業した。当初は通学時間帯のみの停車で、普通列車でもほとんどは通過していた。次第に停車列車は増えていき、1978年（昭和53年）10月のダイヤ改正で夜行列車以外の普通列車が全停車となり、1985年（昭和60年）3月のダイヤ改正で夜行普通列車が廃止となったことにより、普通列車すべてが停車する駅となっている。
1927年（昭和2年）の北丹後地震では、余部橋梁の西側の築堤区間が崩壊し、また橋脚の一部が沈下するなどの被害を受けて、しばらくの間山陰本線が不通となった。第二次世界大戦に際しては、資材不足で保守が滞るようになったが、一方で山陰本線の重要地点とみなされ、敵の攻撃に対する警戒が行われた。このために、1944年（昭和19年）に陸軍が付近に監視哨を設置した。この監視哨に通信線を引くために電力が必要とされ、それまで桃観トンネルの工事のために設置された小規模な水力発電からのわずかの電力のみであった余部の村に、香住からの送電線が引かれて、戦時中にもかかわらず電化されるという副産物を生んだ。また1945年（昭和20年）になると、当時管轄していた運輸通信省大阪鉄道局から大鉄工業福知山支店に対して、鉄橋を敵の攻撃から守るための対策の検討依頼が行われた。鉄橋に迷彩を施し常緑樹を被せることで敵の目からカモフラージュするとともに、橋脚下部にコンクリートを巻き付けて補強する対策が検討された。列車通過時の振動によりコンクリートを打つ工事が難しいという問題の対策を検討しているときに終戦となり、こうした対策は実施されずに終わった。
1930年（民国19年）5月、閻錫山らが反蒋介石の中原大戦を発動すると、傅作義は第4路軍指揮官などをつとめた。閻が敗北すると、張学良配下に転じる。翌年5月、第35軍軍長に任命され、さらに8月には、綏遠省政府主席となった。傅作義は、綏遠省の内政でもその手腕を発揮し、治安維持、農村基層組織改革、金融整理、都市・農村建設、教育事業などに好成績をあげた。9月、満州事変が発生すると、徐永昌・宋哲元らと連名で抗日の声明文を発した。1933年（民国22年）1月、日本軍が山海関を攻撃して長城抗戦が勃発すると、傅は翌月に第7軍団総指揮に任じられる。4月末に自ら第59軍を率いて張家口から昌平へ急行した。5月23日、傅は日本軍第8師団と交戦を開始し、激戦により双方ともに大きな損害を出した。6月末、傅は綏遠省に引き返している。1935年（民国24年）4月、傅作義は陸軍2級上将に昇進した。翌年11月、李守信率いる蒙古軍政府軍と王英率いる大漢義軍が綏遠省へ侵攻してくると、傅はこれを迎撃・駆逐しようとする。傅は11月24日、百霊廟の蒙古軍政府軍を撃破し、12月4日には、これを完全に駆逐して勝利を収めた（綏遠事件）。1937年（民国26年）以降の日中戦争（抗日戦争）では、傅作義は第2戦区第7集団軍総司令、第2戦区北路軍総司令、第8戦区副司令などを歴任している。忻口戦役、太原防衛戦、五原戦役など大きな戦いに参戦した。傅の戦績は良好で、1939年（民国28年）には国民政府から青天白日勲章を授与されている。抗戦中の傅は中国共産党（八路軍）ともよく連携し、自軍の強化のために軍事交流を行った。しかし、このために閻錫山から「赤化」「七路半軍」との非難を浴びている。抗戦勝利直前の1945年（民国34年）7月、傅は第12戦区司令長官に任じられた。勝利後は熱河省、察哈爾省、綏遠省の日本軍降伏受諾事務を担当している。