Han er sønn av ingeniør Knut Brende (1939–2022) og husøkonom Kari Wesche (1943–2004). Børge Brende ble født i Odda, ettersom faren var anleggsingeniør i Røldal, men familien flyttet til Trondheim da gutten var et par år gammel. Han vokste opp på Nardo. Allerede i 10–11-årsalderen leste han flere aviser fast. Han gikk Nardo barneskole og Singsaker ungdomsskole, og 15 år gammel dro han til USA som utvekslingselev.