Fatti: A. A._ e la comunione ereditaria fu C._ sono proprietari di due stabili adiacenti situati sui fondi contigui xxx e yyy di Olivone. Nel passato, il piano seminterrato degli edifici era usato in comune dai due proprietari, senza che vi fosse una divisione; vi si accedeva dall'entrata sulla particella xxx di A._. Il piano superiore aveva invece un muro divisore in corrispondenza del confine e disponeva di accessi separati e indipendenti. B. Con contratto scritto del 21 maggio 2000 A._ ha incaricato l'impresario B._ della ristrutturazione dell'edificio di sua proprietà. Il contratto è stato rescisso qualche mese dopo. Il 13 ottobre 2000 B._ ha inviato a A._ due fatture: una per i lavori eseguiti sulla particella xxx, ridotta dopo discussioni a fr. 79'672.47; l'altra di fr. 13'469.59 per le opere svolte sulla particella yyy degli eredi C._. In relazione alla prima fattura A._ ha pagato in tutto fr. 69'760.95, mentre ha rifiutato di onorare la seconda. C. L'8 aprile 2005 B._ ha promosso azione davanti alla Pretura del Distretto di Bellinzona chiedendo la condanna di A._ al versamento di fr. 37'914.56. A._ ha riconosciuto in causa di essere debitore di fr. 1'981.20. Statuendo il 16 ottobre 2007, iI Pretore ha accolto la petizione limitatamente ai fr. 9'911.52 concernenti la fattura per le opere realizzate sulla part. xxx di proprietà di A._. La pretesa per i lavori effettuati sul mappale yyy di proprietà C._ è stata invece respinta, poiché il contratto sottoscritto il 21 maggio 2000 escludeva tali opere. D. Adita da entrambe le parti, con sentenza del 31 marzo 2009 la II Camera civile del Tribunale d'appello del Cantone Ticino ha accolto l'appello principale di B._, condannando A._ a pagargli fr. 23'381.11, oltre interessi, mentre ha respinto l'appello adesivo di quest'ultimo E. Prevalendosi della violazione dell'art. 9 Cost. per arbitrio nell'apprezzamento delle prove, il 18 maggio 2009 A._ è insorto dinanzi al Tribunale federale con un ricorso sussidiario in materia costituzionale volto a ottenere l'annullamento della predetta sentenza, previa concessione dell'effetto sospensivo al gravame. Nella risposta del 5 giugno 2009 B._ ha proposto di respingere l'impugnativa, mentre l'autorità cantonale non ha preso posizione. Con decreto del 12 giugno 2009 la Presidente di questa Corte ha riconosciuto al ricorso l'effetto sospensivo.