Nella settimana seguente quel che restava del reggimento di James venne spedito nell'entroterra, presso Inkerman, perché sorvegliassero le linee britanniche che circondavano la città. James aveva speso molte delle notti presso Balaclava sul proprio lussuoso piroscafo a vapore e trovò scomodo quello spostamento; il suo grado di comando sulla brigata ne soffrì ulteriormente. Il risultato fu la sua assenza alla Battaglia di Inkerman del 4 e 5 novembre: il primo giorno si presentò a mezzogiorno ed il secondo un paio d'ore prima, un tempo comunque non sufficiente per scendere in campo con cognizione di causa. La parte giocata dalla sua brigata non fu grande e, per non creargli imbarazzo, non ne venne fatta menzione delle sue assenze nei dispacci inviati a Londra.