Borglums familie bodde i Fremont, Nebraska fra han var syv år gammel. Da han ble ferdig med det som i dag regnes som gymnaset, flyttet familien til California.