Het Wit Huis werd in 1778 gebouwd op grond van het voormalige "Hof van Steelant" door Michiel Lauwers-Bouuaert, landmeter van het Brugse Vrije en baljuw van Den Houtschen. Zijn zoon Augustinus, de eerste burgemeester van Loppem na de Belgische onafhankelijkheid, verbouwde het pand grondig. In 1873 werd het huis aangekocht door burgemeester Charles van Caloen. Zijn zoon Albert en kleinzoon Karl, eveneens burgemeesters van Loppem, woonden er met hun gezin. De stenen ommuring met toegangspoort dateert van 1887.