Schlegel var sønn av professor Johan Heinrich Schlegel og kom fra en svært lærd og språkmektig familie der han fikk grundig undervisning. Moren skal ha snakket fransk med gutten, mens faren snakket tysk. Den tyske filosofen og forfatteren Friedrich Schlegel var et av hans søskenbarn.