Skjervheim studerte først sosiologi under Sverre Holm og Vilhelm Aubert ved Universitetet i Oslo, men skiftet studieretning til filosofi. Våren 1957 tok han magistergraden i filosofi med sosiologi og psykologi som støttefag. I 1957 utgav sosiologiinstituttet ved Universitetet i Oslo Skjervheims essay et essay som var sentral i hans tenkning og som inngikk som kapittel i flere senere bokutgivelser. I 1959 ble avhandlingen publisert. Senere var han stipendiat ved Fridtjof Nansens Institutt og lærer ved Nansenskolen på Lillehammer. Høsten 1959 reiste til Ludwig-Maximilians-Universität München. Han ble influert av hermeneutikken og markerte seg som kritiker av vitenskapsfilosofien som særlig Arne Næss var frontfigur for i Norge. Næss var også Skjervheims veileder under magistergradsarbeidet, og forholdet dem i mellom var ofte stormfullt, men aldri fiendtlig. I 1964 utgav han sin første monografi, . I 1968 utgav han som blant annet diskuterte politiske konsekvenser av positivismekritikken. Skjervheim var i utgangspunktet sympatisk innstilt til studentopprøret, men tok etter hvert mer avstand da opprøret samlet seg om autoritær marxistisk ideologi. Selv hadde han ingen partitilhørighet, men var erklært demokrat og en skarp kritiker av alle autoritære ideer.