Fatti: A. La controversia trae origine da trentaquattro cause di risarcimento avviate da altrettanti attori davanti alla Pretura di Bellinzona tra il 2009 e il 2012 contro l'avvocato ticinese HH._. Il 17 dicembre 2013 tutte le procedure erano state sospese, tranne quella avviata da II._ che avrebbe funto da causa-pilota. Il 16 giugno 2015 il Pretore aggiunto di Bellinzona Adriano Bernasconi, aveva respinto l'azione di II._. Il 2 dicembre 2016 la II Camera civile del Tribunale d'appello ticinese aveva respinto per quanto ricevibile l'appello di tale attore. Da ultimo, con sentenza del 19 luglio 2017 il Tribunale federale aveva respinto nella misura in cui lo aveva ritenuto ammissibile il ricorso in materia civile (causa 4A_39/2017). II._ chiedeva che gli fossero risarcite le perdite subite a seguito d'investimenti effettuati tramite una società statunitense e sosteneva che il convenuto fosse stato incaricato di conservare dei titoli a garanzia degli investitori. Era invece emerso che l'avvocato aveva soltanto tenuto in deposito quattro buste dal contenuto a lui sconosciuto; così gli accertamenti dell'autorità cantonale rimasti vincolanti per il Tribunale federale (sentenza citata consid. 5, in part. 5.3.3). B. La riattivazione delle cause rimaste sospese era stata piuttosto intricata; un intreccio di richieste delle parti e di ordinanze del Pretore aggiunto, in parte distinte per ventidue cause rette ancora dal codice di procedura civile ticinese (CPC/TI) e undici promosse dopo la sua abrogazione. Di tali atti procedurali si dirà nella misura necessaria nei considerandi di diritto. C. Con istanza del 22 febbraio 2018 gli attori hanno chiesto la ricusazione del Pretore aggiunto di Bellinzona, l'annullamento di tutti gli atti da lui compiuti e la sospensione di tutti i termini correnti; prevalendosi degli art. 27 lett. b CPC/TI e 47 cpv. 1 lett. f CPC sostenevano che numerosi e ripetuti gravi errori procedurali commessi dal giudice denotavano prevenzione nei loro confronti. Gli incarti sono stati trasmessi per competenza al Pretore del distretto di Riviera, davanti al quale, con scritti del 22 marzo e 1° ottobre 2018, gli attori hanno completato la loro istanza di ricusazione. Il Pretore di Riviera l'ha respinta con decisione del 28 giugno 2019. Il successivo reclamo degli attori è stato respinto, nella misura in cui era ricevibile, con sentenza del 12 dicembre 2019 della II Camera civile del Tribunale di appello ticinese. D. Gli istanti insorgono davanti al Tribunale federale con ricorso in materia civile del 16 gennaio 2020; chiedono l'annullamento della sentenza cantonale, che sia ordinato al Pretore aggiunto di Bellinzona di ricusarsi e che siano annullati tutti gli atti da lui compiuti. Il convenuto propone di respingere il ricorso, per quanto fosse ammissibile. Gli istanti hanno replicato con scritto del 21 febbraio 2020, sul quale il convenuto ha brevemente preso posizione con osservazioni del 27 febbraio 2020. Anche il Pretore aggiunto di Bellinzona ha chiesto di respingere il ricorso. L'autorità cantonale non si è invece pronunciata. Al ricorso è stato attribuito effetto sospensivo con decreto presidenziale del 13 febbraio 2020.