Under jordskælvet i Lissabon 1755 blev han sammen med sin bror frelst af sin guvernante, der bar børnene mellem ruinerne ud af byen. Historien fortæller, at hun blev vækket af en skrigende abe og dermed reddet, og på Liselund Slot er denne abe mindet på en spejldekoration i Abeværelset. Han fulgte med forældrene til Danmark i 1759.