政府迫害犹太人，所以1872年，父亲带全家搬到普鲁士的哥尼斯堡（今俄罗斯的飞地加里宁格勒）定居，与后来成为着名数学家的希尔伯特家仅一河之隔。闵可夫斯基的大哥继承父业成为优秀的商人。二哥就是发现胰岛素和糖尿病有关的着名医学家、被称为“胰岛素之父”的奥斯卡·闵可夫斯基。后来赫尔曼·闵可夫斯基的侄子鲁道夫·闵可夫斯基成为美国着名的天文学家。赫尔曼·闵可夫斯基少年时期就在数学上表现出极高的天赋，被称为神童。当时闵可夫斯基兄弟三人在哥尼斯堡十分有名。1873年闵可夫斯基进入艾尔斯塔特预科学校读书，只用了五年半时间