Laub var prestesønn fra Langå ved Nyborg, men mistet sin far allerede som 13-årig. Familien bodde heretter i Fredericia, hvor han fortsatte sin skolegang, men flyttet til Sorø Akademi i gymnastiden. Etter studentereksamen i 1871 begynte han på et teologi-studium, men oppgav det etter et par år og ble i stedet opptatt på musikkonservatoriet i København. Herfra fikk han organisteksamen i 1876.