Faren var en av grunnleggerne av CDU i Hamburg og den første lederen for Junge Union i Hamburg. Han var lenge CDUs eneste bydelsordfører i Hamburg, og ble derfor kalt «baronen av Wandsbek» (baron er tiltaleformen for en friherre). Ole von Beusts mor Hanna er halvt jødisk. Derfor måtte foreldrene flykte under nasjonalsosialismen.