앤드루 잭슨
로버츠는 1879년 9월 14일 오하이오주 칠리코시에서 오벌린 대학 (Oberlin College)의 학장인 앤드루 잭슨 로버츠(Andrew Jackson Roberts, 1852 - 1927)와 샐리 헤밍스의 손녀인 엘렌 웨일스 헤밍스(Ellen Wayles Hemings, 1856-1940)의 아들로 태어났다. 엘렌 웨일스 헤밍스는 매디슨 헤밍스의 딸이었다. 프레더릭이 여섯 살 때 그의 가족은 로스 앤젤레스로 이사했고, 그의 아버지 앤드루 잭슨 로버츠는 최초의 흑인 소유의 장례식장을 설립하였다. 로버츠는 둘째 아들로, 그에게는 형 윌리엄 자일스 로버츠가 있었다.