Kong Youde hevdet å nedstamme fra Konfucius. Dette ble også fastholdt av Qing-tidens biografier, men er blitt ansett som feilaktig. I Qufu ble han til og med nektet å besøke Konfuciusgravfeltet fordi man ikke anderkjente hans påstand.