郷里の村上に戻った伊藤は、母方の縁者が経営する建築会社「加藤組」に入社した。1947年（昭和22年）、経営者の長女と結婚し加藤と改姓した。以来加藤組は村上最大手の建築会社として公共事業を主体に成長した。加藤は1976年（昭和51年）に取締役社長に就任、1992年（平成4年）に会長に退くまで務めた。1980年（昭和55年）には紫綬褒章、1992年には建設大臣表彰を受賞した。2012年（平成24年）7月4日死去。
法政大学1年生の春から主力投手として東京六大学リーグ戦に登板。法大の同期には、植松精一（静岡高→法大→阪神）、楠原基（広島商高→法大→日本生命）、金光興二（広島商高→法大→三菱重工）、島本啓次郎（箕島高→法大→巨人）、袴田英利（自動車工高→法大→ロッテ）、徳永利美（柳川商高→法大→新日鉄）ら甲子園を湧かせたスターが集まった。ライバルの早稲田大学には、山倉和博（東邦高→早大→巨人）、佐藤清（天理高→早大→日本生命）、白鳥重治（静岡高→早大→日産自動車）らが入学し、法大の花の49年組とともに神宮を湧かせた。なかでも山倉は南海ドラフト1位を蹴って早大に入学しており、江川が大学時代に最も恐れたバッターであり、のちには巨人でバッテリーを組むことになる。江川が入学した年の東京六大学春季リーグ戦は、前川善裕（東葛飾高→早大→日本鋼管）、吉沢俊幸（日大三高→早大→阪急）、松本匡史（報徳学園高→早大→巨人）、八木茂（興国高→早大→東芝→阪急）らを擁した早大が優勝。法大は3位に終わったが、直後の新人戦・慶大戦では3失点5奪三振で完投勝利（自身も4安打）して優勝に貢献した。さらに、その年の秋季リーグ戦でも史上最年少（当時）で投手のベストナインを受賞するなど主戦投手として活躍。明治神宮野球大会でも法大の準優勝に貢献した（決勝戦では中大・田村政雄と投げ合うも1本のソロ本塁打に泣き、9回12奪三振、0対1の完投敗戦）。1976年から77年の法大4連覇（4回とも対戦校すべてから勝ち点を奪う完全優勝）にエース、ときには5番打者として貢献した。なかでも1976年秋季リーグでは、投手は野手と比較して打席に立つ回数が少ないにも関わらず規定打席に到達、38打数13安打で打率3割4分2厘（リーグ2位）、本塁打2本（リーグ2位）、打点10（リーグ1位）の好成績を挙げている。このときはもちろん法大の規定打席数以上の選手の中では3部門すべてにおいてトップであった。通算47勝は山中正竹（法大）の48勝に次ぐ史上2位。1977年10月22日、対明大1回戦を5安打完封して47勝目を挙げた翌23日、リーグ最終戦の対明大2回戦に勝てば通算勝利で連盟タイ記録になったが、江川は「うちには投手は他にも沢山いますから」と、あっさり先発を鎗田英男に譲っている。通算17完封は連盟記録、ベストナインにも6度選ばれた。これは高田繁（明大→巨人）の7度に次いで、谷沢健一（早大→中日）の6度と並ぶ連盟2位の記録である。奪三振数（443個）も2002年秋に当時早大4年生だった和田毅（476個）に更新されるまでは歴代最多だった。また、江川は2年生で第4回日米大学野球選手権大会日本代表、3年生で第5回日米大学野球選手権大会日本代表、4年生で第6回日米大学野球選手権大会日本代表に選出されたが、同学年で3年生時の全日本大学野球選手権大会準決勝で江川と投げ合った東海大・遠藤一彦（のち大洋）は一度も同代表に選出されず、江川に対して強烈なライバル意識を持ったことが設計士の道を諦めてプロ入りする方向転換の要因となった。なお、当時のチームメートには、1学年上に高代延博（智弁学園高→法大→東芝→日本ハム）、近鉄ドラフト6位を蹴って入学した佐々木正行（初芝高→法大→三協精機→ヤクルト）、船木千代美（のちにTDKの監督として都市対抗野球で東北勢初の優勝を果たす）がいた。2年生時には右肩を疲労骨折した。ただし、当時その事実は外部には伏せられ、六大学のリーグ戦にも通常通り登板していたため気づかれることはなく、プロ引退後にその事実が明かされた。江川によればそれ以後右肩の調子が100％に戻ることはなかったという。法大4年生時の1977年秋のドラフト会議（11月22日開催）では、法大の大先輩・根本陸夫新監督率いるクラウンライターライオンズからドラフト1位指名を受けるが、入団を拒否。江川は当時福岡市を本拠地としていたクラウンに対し、福岡は遠隔地という理由で断った。このときのことをのちに江川は、「巨人がだめでも巨人と対戦でき、そして当時交際中だった（のちの）夫人が東京在住だったため、遠距離交際を避けられる在京セ・リーグ球団からの指名なら入団していただろう」と振り返っている。大学卒業後は作新学院職員としてアメリカに留学。これは、大学から社会人野球チームに入団すると最低2年間はプロ野球入団が禁じられるため、社会人野球への選手登録をしないで翌年のプロ野球入団が可能な野球留学を選択したため。南カリフォルニア大学で練習し、実戦ではアラスカのサマーリーグにアンカレッジ所属として参加して2勝2敗。留学当時、クリス・スミス（のちヤクルト）がルームメイトで、江川にとって英語の先生役でもあった。