Sau khi thi đấu bóng đá trẻ cho câu lạc bộ địa phương Fairbairn House, Fraser ký hợp đồng với Luton Town năm 1926. Có 270 lần ra sân trong 9 năm ở với câu lạc bộ, Fraser quyết định rời đi năm 1935.