Charles O’Brien entstammt einer alten irischen Familie, dem "Clan O’Brien", die sich auf den irischen König Brian Boru († 1014) zurückführt. Er war der ältere von zwei Söhnen des Charles O’Brien († 1706) aus dessen Ehe mit Charlotte Bulkeley, einer Tochter des Hon. Henry Bulkeley und Schwägerin des Marschalls James Fitzjames, 1. Duke of Berwick. Sein Großvater väterlicherseits war Daniel O’Brien, 3. Viscount Clare († um 1691). Sein Vater und Großvater hatten im Krieg der zwei Könige (1689–1691) auf Seiten der Jakobiten gekämpft und waren nach der Niederlage im Rahmen der sogenannten „Flucht der Wild Geese“ ins Exil nach Frankreich entkommen. In Großbritannien wurden sie geächtet, ihre Ländereien von der Krone eingezogen und ihre Adelstitel aberkannt. Die in Großbritannien aberkannten Adelstitel wurde in Frankreich gleichwohl anerkannt, so dass sein Vater ab 1693 die Titulatur 5. Viscount Clare () führte. Sein Vater hatte sich in den Dienst des französischen Königs gestellt und war am 23. Mai 1706 in der Schlacht bei Ramillies an der Spitze des von ihm gegründeten "Régiment de Clare" gefallen (siehe auch Brigade irlandaise). Ab dem Tod seines Vaters verwendete er als dessen Erbe die Titulatur 6. Viscount Clare.