103系は長期間にわたり大量に製造されたことから、試作後20年を経過した1980年代後半より、アコモデーション面での見劣り、オイルショック以後の省エネ施策の未対応、スピードアップ要求に対応出来ないほか、乗り心地面など様々な面が指摘されるようになる。103系と同時期に設計された国鉄車両も同様な問題点があったが、例えば101系が一部の短区間路線を除き1990年代初めには置きかえられた反面、103系は最終増備車が1984年（昭和59年）製であることから、21世紀に入っても大量に残った。初期に製造された車両を少量数しか承継せず、比較的早い時期に近郊形電車で置き換えが可能だったJR東海は別にして、103系と同時期に製造され続け、103系同様に陳腐化した113系や115系電車を大量に抱えるJR東日本やJR西日本では置き換えのペースが遅く、格差が広がる結果となった。
103系電車が阪和線や東海道・山陽緩行線などに投入されると、駅間距離が長い路線では、一般に最高速度やブレーキ初速が高い運転がされているため、投入当初は苦情も多かった。しかし、原因の追及などによりそれらの不満は解消されることになるが、このことが恒久的な問題点だと記事にしたケースなどもあり、駅間が長く高速運転をする線区では103系は適さないと思われるようになった。しかし車両設計事務所の川添雄司は「103系は駅間の長い路線や最高速度が高い路線など別形式が有利に見える路線でも、データを見ると103系に有利な数字が出るとしている。東海道本線・山陽本線などでは、3ドアの113系を4ドアにしたような車両でよいかもしれないが、比較すると103系の方が消費電力量が少ない。103系は駅間の短いところから長いところまで使える上に、価格も安い」と述べている。このことは前述の113系等との1km - 5kmの運転時分や消費電力量の比較などを見ても明らかである。
本形式は、製造期間が20年以上に及んだため、その間の技術向上などを反映しにくく、製造後30年近く経っても大量に残っていたこともあり、陳腐化していた。オイルショック以後の省エネという観点において回生ブレーキを装備していなかったことの指摘もある上、JR東日本が製造した209系通勤形電車の車内に103系電車との消費電力量比較が掲示されたことと相まって、浪エネと表現した記事も見られるようになる。鋼製車体で回生ブレーキを装備しない本形式が過去にどのような比較等をなされているかを示す。
1994年8月3日、福知山線三田 - 新三田間で上り電車がトラックと衝突、前位側先頭車であるクハ103-839が大破した。その結果同車は1994年8月10日付けで廃車となっている。
1988年12月5日、中央緩行線東中野駅構内に停車中の103系10両編成に、後続の201系10両編成が追突。103系の後位側9両（クハ103-277・モハ103-334・モハ102-490・サハ103-326・モハ103-21・モハ102-21・サハ103-327・モハ103-336・モハ102-492）のうち中間車8両が回復不能として1989年3月23日付けで、先頭車のクハ103-277が1989年7月25日付けで廃車となっている。
1970年5月20日、根岸線新杉田 - 洋光台間で下り電車が土砂崩壊に乗り上げ、前位側2両にあたるクハ103-548とモハ102-169が大破した。その結果この2両は1971年3月27日付けで廃車となっている。モハ102-169とペアを組むモハ103-105は整備の上、新たに製造されたモハ102-445とペアを組んで復帰している（窓枠の異なる車両同士でのユニット）。
103系は大量に製造されたために、JR化後30年経過した2018年4月時点でも100両近い車両が在籍している。廃車のほとんどは老朽廃車であるが、一部事故廃車が存在する。
ウィリアム・H・スタンドレイは1962年1月16日にメイン州バスのバス鉄工所に建造発注され、1963年7月29日に起工する。1964年12月19日にチャールズ・B・ウィンコート夫人（スタンドレイ提督の娘）によって命名、進水し、1966年7月9日に就役した。ウィリアム・H・スタンドレイはベトナム戦争での戦功で4個の従軍星章を受章した。1990年6月から1991年8月まで、ウィリアム・H・スタンドレイは、NTU(New Threat Upgrade)プログラムで対空兵装の改良を含む大規模なオーバーホールを行った。27年間以上の現役活動後に、ウィリアム・H・スタンドレイは1994年2月11日に退役し同日除籍された。ウィリアム・H・スタンドレイはエリオット(USS Elliot, DD-967)と共に2005年6月25日にオペレーション・タリスマン・サーベルでの標的艦としてオーストラリア東部海岸沖に沈められた。両艦は現在南緯25度、東経155度、フレーザー島沖190kmの珊瑚海の海域で人工岩礁として眠る。