První písemná zmínka je z roku 1440. Tehdy byla ves v majetku rodiny Tyszkiewiczů a příslušela k Litevskému velkoknížectví. Při druhém dělení Polska v roce 1793 připadl Valožyn ruskému impériu. Během Polsko-sovětské války Valožyn dobyly polské jednotky v roce 1919 a následně v roce 1921 v rámci Rižského míru připadl Druhé polské republice.