Eelsum komt voor het eerst voor in 1407 als Eltismaheerd. Begin 16e eeuw was Eelsum evenals Boukum (dan nog Baukemaheerd) in handen van Doke Sickinghe. In 1514 verkocht hij beide heerden aan zijn zwager Rolof ten Holte, die Eelsumheerd en Boukumaheerd in 1529 vererfde op zijn zoon Johan ten Holte, die in 1534 bekendheid verwierf als vervolger van wederdopers in 't Zandt. Hij of een nazaat genaamd Johan koos partij voor Lodewijk van Nassau. Kort na de Slag bij Jemmingen kwam hij te overlijden waardoor zijn minderjarige nazaten ontkwamen aan het oordeel van de raad van beroerten en confiscatie van zijn bezit.