Матерью Брута была Сервилия, представительница одного из самых знатных патрицианских родов Рима. Она принадлежала к его ветви, известной как Сервилии Цепионы. Её отцом был проконсул 90 года до н. э., погибший во время Союзнической войны, дедом — консул 106 года до н. э., виновник поражения при Араузионе, а прадедом — консул 140 года до н. э., организатор убийства Вириата. По матери Сервилия приходилась племянницей народному трибуну 91 года до н. э. Марку Ливию Друзу, который попытался провести курс консервативных реформ, но погиб от руки наёмного убийцы. Единоутробным братом Сервилии был Марк Порций Катон Младший. Овдовев, Сервилия вышла замуж во второй раз — за сородича первого мужа, Децима Юния Силана. От этого брака родились три дочери, единоутробные сёстры Брута; Юния Прима стала женой умеренного цезарианца Публия Сервилия Исаврика (консула 48 года до н. э.), Юния Секунда — женой Марка Эмилия Лепида (радикального цезарианца, члена Второго триумвирата), Юния Терция — женой Гая Кассия Лонгина, друга и главного соратника своего шурина. Сервилия была очень энергичной и честолюбивой женщиной, оказывавшей большое влияние на ряд видных политиков Рима, включая своего брата (с определённого момента — главу консервативной части сената), второго мужа (консула в 62 году до н. э.) и Гая Юлия Цезаря, которого источники называют её любовником.