佐久間左馬太任臺灣總督時，將麗正門外的龍匣口規劃成日本宿舍區，並種植從熱帶引進的黑板樹。據新營里前里長李朝宗回憶，祥瑞大樹原在日本木造平房的庭園，日本戰敗後，在地台灣民眾占據木屋，轉賣給經營煤炭生意的高龜里。高龜里是1946年從木柵遷居過來，當時房子還是矮房。高龜里兒子高忠信回憶當初搬來時，該處原有五、六棵樹，其中以這棵樹最高。