旧開成所から引き継いだ神田一ツ橋（現在の神田錦町）の校地（湯島に所在していた大学本校の南に位置していたため、これが「大学南校」の由来となった）に所在しており、東京大学発足後もしばらくは法理文三学部の校地として使用されていたが、1885年までに本郷校地へ順次移転した。現在、神田錦町の跡地には「東京大学発祥の地」の碑が建てられている。
大学南校は、明治5年8月3日（1872年9月5日）の学制公布により「第一大学区第一番中学校」（学制における中学校）へと改編されたが、この頃には外国語による「普通科」の課程を修了する学生が出てくるようになった。このため、1873年（明治6年）4月10日には「専門学校」に転換され、再び「（第一大学区）開成学校」と称した。この際、教授言語は原則として英語に統一されることとなり、8月、従来の「語学課程」（普通科）に加えて新設された「専門学課程」（専門科）では法学・化学・工学・鉱山学・諸芸学の五科が設置されたが、法学・化学・工学が英語で教授されたのに対し、鉱山学はドイツ語、諸芸学はフランス語で授業が行われ、残留していた独仏語専修の学生に対する移行措置とし、この2学科については学生の卒業にともなって順次廃止した。同年11月には学制二編追加に基づき、語学課程が東京外国語学校（旧外語）（東京外国語大学などの前身）として分離独立した。残る専門学課程は、翌1874年5月「東京開成学校」への改称により、法学・化学・工学三科よりなる修業年限3年ないし4年の「本科」に再編され、さらに修業年限3年の「予科」が設けられた。またこの年、工業関係の実務者を簡易速成するための「製作学教場」が設けられた（1877年まで）。1875年、本科生・予科生から11名が選抜され、文部省派遣による第一回の海外留学生となった。1877年2月、東京開成学校綜理（校長）に就任した加藤弘之は開成学校を「開成大学校」に昇格させるべきとした意見書を文部省に提出、これにより4月12日には、東京開成学校本科は、東京医学校との統合し、法・理・文・医4学部よりなる（旧）東京大学に改編された。また予科は、同じく官立東京英語学校との統合により東京大学予備門（第一高等中学校、のちの一高の前身）となった。しかし1881年の組織改革までの東京大学は、事実上旧東京開成学校と旧東京医学校の連合体に過ぎず、開成学校の後身である法理文三学部は独自の「綜理」（現在の学長に相当し加藤弘之が就任した）を戴くなど独立性が強かった（この後の経緯については当該項目へ）。
1993年、国防副長官に就任。ナン・ルーガー法に従って、ロシアに対して旧ソ連の核兵器廃棄事業を支援した。1994年1月、レス・アスピン長官の辞任時、ビル・クリントン大統領よりアメリカ合衆国国防長官への就任を要請された。一度は辞退したが、アル・ゴア副大統領より説得されて翻意、長官に就任した。旧ソ連圏の崩壊に伴い、東ヨーロッパの安定が課題となった。NATOは東欧へ拡大しようとしていたが、NATO拡大に対して警戒感をもっていた新生ロシアの懸念を払拭することが必要だった。そのとき、ペリー国防長官は、NATO加盟の前段階としての「平和のためのパートナーシップ(PFP)｣を推進した。その結果、ロシアのPFPへの参加を引き出し、ソ連崩壊後の東欧の安定化に成功した。1994年、北朝鮮が実験用黒鉛減速炉からプルトニウムを抽出するぞと得意の瀬戸際外交を演じた際には、ペリー国防長官は徹底して外交的解決をめざしたが、軍事的な後ろ盾の必要も感じ、密かに北朝鮮の核疑惑施設への空爆、いわゆるサージカル・ストライクも検討させていた。このとき空爆の対象として検討された施設は、寧辺にある核燃料再処理施設、5メガワットの実験炉、使用済み燃料保管プールなどである。カーター元大統領を特使として派遣し、北朝鮮が核開発を中止するかわりに米日韓が中心になって2基の軽水炉を建設するという「米朝枠組み合意｣が最終的な交渉結果となった。1996年3月、台湾の民主化がすすめられ初めての総統直接選挙が行われた。民主化を推進している李登輝が優勢との情報が伝えられるや中華人民共和国の人民解放軍は台湾沖に向けてミサイル演習を実施した。米国はインド洋から原子力空母ニミッツ、横須賀を母港とする空母インディペンデンスを急遽台湾周辺に派遣した。二隻の空母派遣表明が奏功し、空母が到着したときには大陸側のミサイル演習は終わっていた。この台湾海峡ミサイル危機への米国の対応にあたって、ペリー長官は国家安全保障会議に対して代案なしで選択肢を一つしか提案しなかったと回想している。1996年4月、クリントン大統領が来日して橋本龍太郎首相と会談し、冷戦終結後の日米安保体制の重要性を再確認する「日米安保共同宣言｣に署名した。普天間基地の返還もこのとき決定した。そこに至る2年以上の歳月を、ペリー国防長官は、ジョセフ・ナイ国防次官補と共に歩んだ日米双方の関係者の困難解決の過程を感慨をもって｢私の履歴書｣で振り返っている。1994年10月、1989年の天安門事件以後はじめて米国防相として訪中。その答礼として、1996年にこれまた天安門事件以後はじめての訪米となる中国国防相 遅浩田国防相を米国に迎え、米中の軍事交流をすすめた。