Van Caloen woonde niet op het door zijn grootvader Charles van Caloen gebouwde groot kasteel van Loppem, maar in een villa in de dorpskom, genaamd 'Het Witte Huis'. Het was in zijn woning dat koning Leopold III, tijdens de Achttiendaagse Veldtocht, van 18 tot 25 mei 1940 verbleef en eerste minister Hubert Pierlot, minister Paul-Henri Spaak en twee andere ministers hem kwamen opzoeken, maar hij was toen net naar Wijnendale verhuisd.