加利福尼亚州的洛杉矶，出生于赫尔曼和维维安米尔曼（均已去世），他还有一位姐姐戴安娜。 他早年的大部分生活包括现代舞和武术等积极的追求，然后是蹦床 ， 翻滚和体操 。 他， 在加州大学伯克利分校获得新生奖时，在伦敦赢得了1964年的蹦床世界锦标赛并获得了全美荣誉，并在跳马中获得了NCAA冠军 。 1966年，他赢得了冠军USGF 自由体操和代表美国合众国在1966年马加比厄游戏 ，赢得四枚金牌体操。 1966年9月，在升上加州大学伯克利分校的高年级时，米尔曼的摩托车与一辆汽车相撞。 他的右股骨受到破坏，