Sus padres fueron Pedro Allende y Juana Astorga, miembros de la incipiente clase media chilena y vecinos del barrio arrabalero de La Chimba, en la capital chilena. Cuando Juan Rafael contaba 3 años de edad, la familia fue víctima del saqueo de La Serena de 1851, ocurrido con ocasión del fin de la revolución igualitaria de ese año.