Samuel Eyde vokste opp på Malmbrygga i Arendal, og familien tilhørte storborgerskapet i byen. Faren, Samuel Eyde, var skipsreder, og moren Elina Christine Amalie Stephansen var datter av en av byens rikeste menn, Christian Stephansen. Sam Eyde hadde to eldre søsken, Christian Samuel Eyde og Marianne. Sam var lite interessert i skolearbeid og drømte om å følge i farens fotspor og satse på sjøen som levevei. Da han var 13 år tok foreldre han ut av skolen, da de var redd han ville stryke på eksamen. Løsningen ble å sende sønnen på et sommertokt med marinens skoleskip «Nornen». Toktet ble et vendepunkt. I løpet av oppholdet på «Nornen» forstod unge Eyde at han måtte satse på skolen og at det fantes andre ting enn sjømannsliv. Etter toktet ble han sendt til Kristiania for å fortsette skolegangen på Gjertsens skole.