Swayman edusti yliopistotasolla Mainen yliopistoa vuosina 2017–2020. Junioriurallaan hän saavutti MM-pronssia alle 20-vuotiaiden MM-kilpailuissa 2018. Boston Bruins varasi Swaymanin vuoden 2017 varaustilaisuuden 111. pelaajana. Swayman debytoi NHL:ssä huhtikuussa 2021 Philadelphia Flyersia vastaan. Hän pelasi ensimmäisellä kaudellaan Bostonissa kymmenen ottelua voittaen niistä seitsemän.