Navnet kommer fra Elgeseter gård som før 1796 omfattet mesteparten av området. Fra da av startet utstykking av gården, men ennå i 1819 var den på rundt m², hvorav mesteparten var dyrket. Gården er nå redusert til et område på m², der bare hovedbygningen står igjen. Statsarkivets gamle bygning står på samme eiendom. , navnet på augustinerkorherrenes kloster i middelalderen, var sannsynligvis en omtydning av Elgeseter. Det finnes i dag ikke lenger noen spor etter klosteret. Det lå mellom Nidelven og dagens Klostergata. Elgeseter gård var hovedgård for Helgeseter kloster, men er sannsynligvis meget eldre.