Milan rơi vào thời kì đen tối đầu thập niên 80, khi họ hai lần phải xuống chơi ở Serie B; lần đầu vào năm 1980 khi dính dáng tới Scandal dàn xếp tỉ số và sau đó vào mùa giải 1981-82 khi chỉ vừa mới lên hạng. Là một phần của đội tuyển giành vị trí thứ tư tại Euro 1980 và lên đỉnh Thế giới tại Espana 82, Thế nhưng Baresi vẫn quyết định ở lại với nửa đỏ Milano. Bỏ ngoài tai những lời mời gọi từ Sampdoria và Inter, ngay mùa giải sau đó, ông giúp đội bóng quay trở lại với sân chơi cao nhất nước Ý. Cũng trong năm 1982, sau sự ra đi của Aldo Maldera và Fulvio Collovati, Baresi trở thành đội trưởng của Câu lạc bộ ở tuổi 22. Ngoài danh hiệu Mitropa Cup và việc lọt vào Chung kết Coppa Italia mùa 1984-85, Milan bấy giờ vẫn chưa thể về lại với đúng vị thế của mình.