Fatti: A. Il 9 dicembre 2013 la Cassa di compensazione Exfour ha respinto la domanda di A._, nato nel 1944, tendente al rinvio del versamento delle prestazioni AVS. Con decisione su opposizione del 23 gennaio 2014 la Cassa ha confermato il proprio operato. B. Il 22 agosto 2014 il giudice delegato del Tribunale delle assicurazioni del Cantone Ticino, statuendo per giudice unico, ha respinto il ricorso di A._ contro la decisione su opposizione. C. Contro il giudizio cantonale, A._ presenta un ricorso in materia di diritto pubblico al Tribunale federale, chiedendo l'annullamento della pronuncia cantonale e della decisione su opposizione, nonché il riconoscimento di una rendita posticipata dal 1° ottobre 2013 più gli interessi di mora. La Cassa di compensazione Exfour e l'Ufficio federale delle assicurazioni sociali non hanno presentato osservazioni al ricorso. Chiamata ad esprimersi in modo particolare sulla composizione monocratica del tribunale, la Corte cantonale chiede sostanzialmente la reiezione del ricorso.