Cikal bakal Masjid Raya Ganting berawal dari sebuah surau. Dalam sejarah Padang, surau paling awal terletak di Kapalo Koto (kini masuk wilayah Seberang Padang) dan dibangun pada abad ke-18. Pada tahun yang tidak diketahui, surau dipindahkan ke Kampung Ganting di tepi Batang Arau dan dinamakan sebagai Surau Kampung Ganting. Surau didirikan di atas tanah Haji Umar, kepala kampung setempat dari Suku Caniago. Bangunannya semula terbuat dari kayu dengan atap berbahan rumbia. Konstruksi surau kemungkinan ditingkatkan seiring waktu. Meskipun tahun pendirian surau tidak diketahui, keberadaan rumah ibadah di tepi Batang Arau sudah diidentifikasi pada 1781 dalam laporan yang dibuat oleh Jacob van Heemskerk, residen VOC di Padang, ketika menyerahkan kota kepada Inggris akibat Perang Inggris-Belanda Keempat.