Han returnerte deretter til Harvard hvor han ble valgt til rektor samme året. I januar 2005 holdt Summers en tale hvor han mente at kvinners underrepresentasjon kunne skyldes genetiske forhold. Summers henviste til forskjellige undersøkelser som hadde vist at selv om kvinner gjennomsnittlig presterer omtrent like bra som menn i matematikk og naturfag så er de underrepresentert blant de som presterer på det aller høyeste nivået. Talen vakte sterke reaksjoner og ble gjenstand for mye kritikk. Summers beklaget formuleringene raskt etterpå, men det er antatt av talen sammen med kontroverser rundt medvirket til hans avgang i 2006.