1923年秋，对华文化事业调查会详细考察了研究所的选址。此后，日本政府分别于1923年12月、1925年春、1927年2月在法租界法徐家汇路(今肇嘉浜路)和祁齐路（今岳阳路）路口附近买下70公顷土地。研究所于1928年开工建造，1930年竣工。建筑由伊东忠太和内田祥三设计，新林记建筑事务所承建。1931年4月1日，出任研究所第一任所长，原先从事各项预备研究工作的人员也被任命为研究所的正式职员。这标志着上海自然科学研究所正式建立。
发展.1931年6月末，研究所职员全部开始工作。研