Gần một nửa lượng vật chất trong Ngân Hà đến từ các thiên hà khác. Hiện tại Ngân Hà được bồi đắp vật chất từ hai thiên hà vệ tinh gần nhất: Đám mây Magellanic lớn và Đám mây Magellanic nhỏ. Các đặc trưng của Ngân Hà như khối lượng sao, mômen động lượng, thành phần kim loại,... cho thấy nó chưa hề sáp nhập với bất cứ thiên hà lớn đáng kể nào trong suốt 10 tỉ năm qua. So với các thiên hà xoắn ốc khác, điều này khá bất thường; ví dụ như Thiên hà Tiên Nữ hình thành từ sự sáp nhập của một số thiên hà tương đối lớn.