Jef Raskin kom fra en sekulær jødisk familiebakgrunn. Han utdannet seg innen matematikk og filosofi, og tok en mastergrad i datavitenskap ved Pennsylvania State University i 1967. Det første dataprogrammet han laget, et musikkprogram, var en del av avhandlingen hans.