故乡香山县，早年在故乡生活，1841年前往邻近的澳门，入读马礼逊纪念学校（Morrison Memorial School），同校同学计有容闳、黄宽及唐廷枢等人，他们后来都在清末民初有所成就。翌年，清廷在第一次鸦片战争中败于英国，并签订《南京条约》割让香港岛予英国，黄胜遂随校迁到香港生活。到1846年，马礼逊纪念学校校长包朗牧师（Rev. Samuel Robbins Brown）因身体欠佳，决意辞职返回美国。在得到外界赞助下，他很希望可以携同校内数名优秀学生负笈美国，让他们接受正规的西式教育。据记载，