John Down var ganske liberal til å være en victoriansk gentleman. Han forsvarte blant annet kvinners rett til høyere utdanning og nektet for at dette skulle gjøre at de fikk barn med utviklingshemming. Han var også mot slaveriet i tiden rundt den amerikanske borgerkrigen.