John wuchs als Kleinkind in der Obhut seiner Kinderfrau "Matilda Pyrie" im Haushalt seines Bruders auf. Ab 1320 lebte er im Haushalt seiner Mutter, Königin Isabelle. Als der Günstling Hugh le Despenser in den 1320er Jahren zunehmenden Einfluss auf Johns Vater gewann, wurde er zum Rivalen von Königin Isabelle und bemühte sich, ihren Einfluss zu begrenzen. Als es 1324 zu einem Krieg zwischen England und Frankreich kam, entzog Despenser der Königin gegen Ende September 1324 die Aufsicht über ihre drei jüngeren Kinder, da sie als gebürtige Französin diese möglicherweise zum Verrat gegen ihren Vater anstiften könnte. Der junge John wurde in die Obhut von Eleanor de Clare, der Frau Despensers gegeben, die auch eine Nichte des Königs war. Johns Mutter Mutter reiste 1325 als Unterhändlerin nach Frankreich, um Friedensverhandlungen zu führen, blieb dort jedoch aus Opposition gegen den Einfluss der Despensers. Der junge John erhielt 1325 einen eigenen Haushalt. In London erlebte er im Herbst 1326 die Unruhen, als seine Mutter mit ihrem Geliebten Roger Mortimer und einen Heer nach England zurückkehrte und seinen Vater stürzte. Von königlichen Beamten wurde der junge John in den Tower of London gebracht, der jedoch von aufgebrachten Londoner Bürgern gestürmt wurde. Diese vertrieben die königlichen Beamten und ernannten dafür John zum Keeper of the Tower und der City of London.