Colin Dexter var sønn av Alfred og Dorothy Dexter. Faren, Alfred Dexter, drev et lite garasje- og taxiselskap i Scotgate i Stamford. Colin Dexter gikk på St. John's Infants School, Bluecoat Junior School og Stamford School. Stamford School er en privatskole for gutter, og Dexter vant et stipend til denne skolen da han gikk på Bluecoat Junior. Han hadde en bror, John Alfred Dexter, som underviste i klassiske fag ved The King's School i Peterborough; og en søster ved navn Avril.