Selberg ble født den 14. juni 1917 i Langesund. Både hans far og hans to eldre brødre var matematikere. Mens han fortsatt gikk på skolen ble han påvirket av arbeidet til Srinivasa Aiyangar Ramanujan. Selberg ble cand.real. i 1939 og tok sin doktorgrad ved Universitetet i Oslo i 1942.