外的乐善园、继园、广善寺、惠安寺“两园、两寺”的旧址上建成，初名“农事试验场”，由清朝商部奉旨筹建。随后，1906年10月13日由端方、戴鸿慈等大臣奏议，经慈禧太后过问，万牲园开始在农事试验场的场址上筹建。1907年6月5日，端方在出洋考察期间定购的动物运抵天津塘沽，此批动物包括斑马、花豹、狮子、老虎、袋鼠、驼鸟等等，共装运59笼。同年6月7日，此批动物运抵北京。当时万牲园尚未竣工，这些动物遂被临时寄养于附近的广善寺内，后来广善寺也被划归万牲园。当时，广善寺已破败，“将该寺之佛像拆弃，更于佛殿前安置铁栅