Публий принадлежал к плебейскому роду, который до него не дал Риму ни одного консула, кроме предполагаемого дяди Манилия — Мания, видного участника «кружка Сципиона» и наиболее выдающегося юриста своего времени (наряду с Публием Муцием Сцеволой и Марком Юнием Брутом), достигшего консулата в 149 году до н. э. и командовавшего армией на начальном этапе Третьей Пунической войны. Старшим братом консула 149 года до н. э., а, следовательно, и предполагаемым отцом Публия мог быть Публий Манилий, участник послевоенного переустройства Иллирии в 167 году до н. э.