Батьком Йоганна Рукґабера був французький офіцер Жан де Монтальбо, який у 1790-х роках емігрував із Франції, щоб уникнути якобінського терору й оселився у Відні. 1809 року він загинув у битві під Ваграмом, воюючи як австрійський військовий проти французької армії. Десятилітнього Йоганна усиновив його гувернер, віденець Йозеф Рукґабер і дав йому своє прізвище.