Albert Grisar pocházel z bohaté obchodnické rodiny v Antverpách; jeho otec pocházel z Německa (Nasavska), matka z francouzského Rouenu. V Antverpách získal i první hudební vzdělání u (Jeana-Françoise-)Josepha Janssense (1801-1835, žáka Jeana-Françoise Lesueura); jeho idolem byl již tehdy skladatel komických oper François-Adrien Boieldieu. Současně se však jako nejstarší syn zaučoval v rodinném podniku, ačkoli postrádal obchodního ducha. Roku 1829 jej otec vyslal na zkušenou ke svému obchodnímu partnerovi v Liverpoolu, když však ve Francii vypukla Červencová revoluce, opustil své místo a odešel do Paříže a s francouzskými dobrovolníky se vydal i do revolučního Bruselu. Otec si však tuto aktivitu nepřál a nechal syna poslat raději zpátky do Paříže, kde mu povolil studium u Antonína Rejchy. Od té doby se Grisar věnoval jen hudbě; případné výpadky příjmů mu po celý život hradili jeho čtyři mladší bratři, kteří pokračovali v úspěšném podnikání.