白金長者屋敷
1917年(大正6年)には宮内省管轄地の白金御料地となった。このような江戸時代以来の土地利用の経緯から、『日本城郭大系』は、自然教育園内に残る土塁などの城館遺構とされるものは改変を受けている可能性があり、防御施設の構造的観点から見ても白金長者が創築したと伝わる中世そのままの城館遺構と考えるのは危険であるとしている。
また港区教育委員会や港区立郷土歴史館は、現在区内で中世城郭遺跡としている遺跡の年代の根拠を、ほとんど江戸時代に編纂された地誌のみに頼っていることを認めつつ、万が一にも中世の遺構が見つかる可能性があるならば中世遺跡として認定しておくとして、当地を中世城館としているが(遺跡名は旧白金御料地遺跡)、これまでの発掘調査では確実に中世に遡る遺構は発見されていないとしている。1986年(昭和61年)から1987年(昭和62年)にかけて、自然教育園敷地東隣の亜東関係協会東京弁事処(現在の台北駐日経済文化代表処)および特別養護老人ホーム建設に際して行われた発掘調査で見つかった薬研堀状の溝遺構(50号溝)と、2010年(平成22年)から2014年(平成26年)にかけて東京都庭園美術館改修工事により行われた発掘調査で見つかった溝遺構(第2次調査5号溝・第3次調査17号溝)だけは、中世末(少なくとも江戸時代前期にあたる17世紀前半より前)に造られた可能性があると指摘されているが、依然として城館遺跡としての実態には不明点が多い。