西南边为三坑仔庄、淮仔埔庄、泉水空庄，西北边为九座藔庄。1901年（日治明治三十四年）11月，全台设置二十厅，该庄隶属于桃仔园厅。1903年（明治三十六年），改名桃园厅。1909年（明治四十二年）10月，合併二十厅为十二厅，该庄隶属不变。1920年（大正九年），废十二厅改设五州二厅，该庄改制并雅化为「番子寮」大字，隶属于新竹州大溪郡大溪街。战后大溪街改制为大溪镇，隶属于新竹县，大字亦改制为里，并改名为瑞源里。1950年桃、竹、苗分治，大溪镇改隶属于桃园县。2014年12月，桃园县升格为直辖桃园市，大