Fraser nousi Aberdeenin junioreista edustusjoukkueeseen ja pelasi Skotlannin Valioliigassa 21 ottelua kausina 2010–2013. Tammikuussa 2013 hän siirtyi Englannin ykkösliigassa silloin pelanneeseen Bournemouthiin, joka kauden päätteeksi nousi mestaruussarjaan. Fraser pysyi Bournemouthissa yli seitsemän vuotta lukuun ottamatta kautta 2015–2016, jonka hän pelasi lainalla mestaruussarjan Ipswich Townissa. Kaudesta 2016–2017 lähtien hän on pelannut Valioliigassa. Ensimmäisellä pääsarjakaudellaan hän pelasi 28 liigaottelua ja teki kolme maalia, kaudella 2017–2018 hän pelasi 26 liigaottelua ja teki viisi maalia, kaudella 2018–2019 tilastoihin kirjattiin 38 liigaottelua ja seitsemän maalia ja kaudella 2019–2020 hän pelasi 28 liigaottelussa ja teki yhden maalin.