Lilloseter var opprinnelig en husmannsplass rett nord for der serveringsstedet ligger i dag. Man kan fremdeles se låven der husmannsplassen lå. Navnet kom naturlig i 1788 da Lillo gård i Aker kjøpte huset og skogen rundt av gården Kjul i Nittedal.