Scruton ble født i Buslingthorpe, Lincolnshire. Hans foreldre var John «Jack» Scruton, som var en lærer fra Manchester, og Beryl Claris Scruton (født Haynes). Scruton vokste opp med to søstre i Marlow og High Wycombe. Etternavnet Scruton tilkom famiien relativt sent. Fødselsattesten til Jacks far oppgav navnet Matthew Lowe, etter Matthews mor, Margaret Lowe (Scrutons oldemor); ingen far ble nevnt. Men Margaret bestemte av ukjente grunner at sønnen hennes skulle bli oppdratt som Scruton i stedet. Scruton har undret på om hun tok navnet etter å ha jobbet ved den tidligere Scruton Hall i Scruton, Yorkshire, og om det muligens var der hans far var blitt unnfanget.