McConnel begynte å forbedre Bryn Eglwys for å øke dens produksjon, og i 1865 øremerket hans selskap penger til bygging av en smalsporet jernbane som forbinder steinbruddet med havnen i Aberdyfi. Den normalsporede Aberystwyth and Welsh Coast Railway ble imidlertid raskt utvidet fra sin base i Machynlleth, imidlertid, og i 1863 hadde nådd til Tywyn, så McConnel bestemte seg for å bygge sin jerbanelinje fra steinbruddet til Tywyn, som var det nærmeste punktet hvor skiferen kunne bli overført til standardsporet jernbane. Dette på tross av at linjen innledende var isolert fra resten av systemet på grunn av vanskeligheter med å bygge bro over estuariet til Afon Dyfi i sør. En parlamentsstatutt (28 og 29 Vict, cap cccxv) som tillot selskapet å drive passasjerbefordring på jernbanen som en offentlig jernbane ble gitt ved kongenlig sanksjon den 5. juli 1865, og selskapet utnevnte James Swinton Spooner som ingeniør for byggingen. Han laget en plan for en relativt strak jernbanelinje som klartret gradvis fra Tywyn til steinbruddet og byggingen startet raskt. I september 1866 hadde byggingen nådd det punkt hvor Board of Trade inspektøren Kaptain Henry Tyler kunne gjøre sin første inspektsjon og rapport.