Slektens eldste påviselige stamfar er Ola Paulson, som i 1660 var eier av gården Langevoll i Årdal i Sogn. Gården ble i 1683 totalskadet av flom og fjellskred. Sønnen Mogens Olsen (f. 1668, d. 1740) seilte som styrmann på Bergen og Årdal, og var senere sprenger ved Årdal kobberverk. Han var far til Thomas Mogensen Ramsøy (f. 1711 i Årdal, d. 1773) som kom til Kongsberg rundt 1750 og jobbet ved Kongsberg Sølvverk. Etter at han døde, tok familien i bruk Bryn som slektsnavn etter eiendommen de bodde på. Denne hadde opprinnelig navnet fra en tidligere eier som var fra Bryn gård i Øvre Eiker.