，1949年陆续迁徙台湾的许多中国大陆穆斯林也都选择该地附近为落脚处，至今该街仍有不少穆斯林。1950年代末，台海时局稍稳，中华民国外交部积极拓展与阿拉伯伊斯兰国家邦交。为因应接待阿拉伯国家官员来访，当时中国回教协会理事长白崇禧与中华民国外交部部长叶公超提议兴建具有伊斯兰教色彩的大型清真寺。经中华民国政府、沙乌地阿拉伯与几个中东国家共同筹募兴建后，委由中华民国知名建筑师杨卓成设计。1958年，中国回教协会选定穆斯林军眷较多的台北市新生南路建寺，前临「特一号排水沟」（1972年加盖后，埋没在新生南路下