El origen del nombre de la agrupación provino de un viaje en 2008 a Rumania, cuando Josh entró a una ceremonia que conmemoraba el fin del comunismo en ese país. "Había un pequeño y humilde museo cerca a la plaza que contaba la historia. Resulta que era un grupo de cristianos el que de hecho provocó la revolución política y social. Veinte años después los cambios políticos se dieron mas el centro espiritual de la revolución fue prácticamente olvidado. Ese pequeño museo permaneció ahí sin embargo, ofreciendo una visió de la clase de fe que puede dar la vuelta a una nación", afirmó el baterista. Poco después, Josh se unió a Geoffrey y Ben para formar The Museum.