Miller vokste opp i St John's Wood, London, i en veletablert jødisk familie. Hans far, Emanuel (1892–1970) var militærlege og psykiater i . Han led av alvorlig revmatisme. Hans mor, Betty Miller (født Spiro) var forfatter (noveller og biografi). Søsteren Sarah (død 2006) arbeidet i fjernsynet i mange år og aktivt troende jøde, mens broren Jonathan Miller selv var ateist, og unnvek religion. Han ble utdannet ved Taunton School og St Paul's School, London hvor han tidlig utviklet en (og livslang) interesse i biologi. Miller studerte naturvitenskap og medisin ved St John's College, Cambridge (MB BCh, 1959), hvor han var medlem av før University College, London. Mens han studerte medisin, ble Miller involvert i som han omtalte omtales i (1954) og (1955). Han fikk gode kritikker for begge, og spesielt for sin opptreden. Dette førte til at han senere opptrådte i flere radio og TV-show mens han fortsatte studerte. Disse opptredener omfattet , og . Han tok legeeksamen i 1959 og hadde turnustjeneste i to år ved blant annet Central Middlesex Hospital.