回教协会理事长白崇禧与中华民国外交部部长叶公超提议兴建具有伊斯兰教色彩的大型清真寺。经中华民国政府、沙乌地阿拉伯与几个中东国家共同筹募兴建后，委由中华民国知名建筑师杨卓成设计。1958年，中国回教协会选定穆斯林军眷较多的台北市新生南路建寺，前临「特一号排水沟」（1972年加盖后，埋没在新生南路下方）。1960年4月13日完工当日，除了中华民国政府官员之外，还有来自汶莱、日本等国的伊斯兰领袖参加。1960年1月台北清真寺完工，同年4月13日举行落成典礼。落成典礼由副总统陈诚主持，汶莱、菲律宾、日本、马