Sweeney wurde direkt nach Beendigung der High School von den Boston Bruins gedraftet. Sie wählten ihn in NHL Entry Draft 1984 in der achten Runde an 166. Stelle aus. Der Verteidiger verbrachte die folgenden vier Jahre an der Harvard University, wo er für das hiesige Eishockeyteam in der ECAC Hockey, einer Division der National Collegiate Athletic Association, spielte. In seinem dritten Jahr gewann er mit dem Team die Divisionsmeisterschaft.