二年（1574年），明朝初年，一些在运粮船队中安庆帮的人每年冬天都会在金家窑一带临时搭席棚作礼拜。之后，有一些回族陆续来这里定居并建设清真寺。金家窑清真寺最初只是临建的礼拜房间。后来在王宇周、左冠廷和穆玉山的出资下建设了清真寺的大殿、南北讲堂和沐浴室等。光绪年间，冯阿訇集资重修该清真寺。1917年、1984年、1988年和1990年，该清真寺的大殿、南北讲堂和门楼又相继进行了修缮。
建筑.金家窑清真寺全寺建筑总面积为20O0平方米，大殿建筑面积为200平方米，清真寺礼拜大殿的建筑形