Williams ble født i Saginaw, Michigan og er datter av Richard Williams og Oracene Price. Hun er den yngste av Prices fem døtre. Hun har halvsøstrene Yetunde (død 14. september 2003), Lyndrea og Isha Price, og hennes eldre søster Venus som også er en profesionell tennisspiller. Da barna var små, flyttet familien til Los Angeles-forstaden Compton, der Serena begynte å spille tennis da hun var fire år gammel. Williams og søsteren Venus ble hjemmeskolert av faren, og han fungerte også som trener og coach for jentene.