Shaftesburys farfar, Anthony Ashley Cooper, 1. jarl av Shaftesbury, var grunnlegger av det engelske Whig-partiet og en framstående politiker under det engelske interregnum og i Karl IIs regjeringstid. Shaftesbury fikk undervisning av farfarens venn, John Locke. Da farfaren døde, ble Shaftesbury sendt på kostskolen Winchester College.