Down ville kanskje egentlig fortsette en karriere innen kjemi, men på den tiden var mulighetene små. I stedet begynte han med medisin idet han begynte på Royal London Hospital som student i 1853. Der gjorde han det bra og kvalifiserte seg for Royal College of Surgeons i 1856. Han ble medisinsk leder for Earlwood Asylum for Idiots i Surrey i 1858. Folk rundt ham var forskrekket over at han ville gjøre karriere innen dette feltet. Han hadde vært en student som utmerket seg og kunne sikkert ha blitt en av de ansatte på London Hospital. Han var imidlertid bekymret over at barn med utviklingshemming og fysiske funksjonshemminger ble kategorisert som idioter og betraktet som ikke mulig å hjelpe.