Ryckmans var barnebarn av en borgermester i Antwerpen, senator Alphonse Ryckmans, og nevø av en annen Pierre Ryckmans, generalguvernør av Belgisk Kongo.