海舟在江户本所龟泽町、父亲小吉的实家男谷家出生。胜海舟曽祖父银一出生于越后国三岛郡长鸟村（现新潟县柏崎市）贫苦农家，是一个盲人。到江户依靠发放高利贷（盲人特许可以经营高利贷）成爲巨富，捐官得了米山检校的职位。银一的儿子平藏开创了男谷家、男谷家后来昇为旗本。海舟的父亲是平藏的第三子，成了胜家的养子。胜家也是小普请组的小旗本。海舟小时候通过男谷的亲戚阿茶局的介绍给11代将军德川家齐的孙子初之丞（一桥庆昌）当玩伴，以图依靠一桥家出仕，但因庆昌夭折而告终。在男谷家长到7嵗、搬到赤坂本所入江町（现墨田区绿