Charles-Frédéric Chassériau était le fils du général Victor Frédéric Chassériau, mort à Waterloo et d'Elisabeth Ranson issue d'une famille d'armateurs protestants de La Rochelle. Créole, il était cousin germain du peintre Théodore Chassériau et de l'écrivain . À la mort de son père, il fut recueilli par ses oncles Chassériau, l'un commissaire de police à Paris et l'autre diplomate Benoît Chassériau.