Fra 1806 ble det drevet skole for barn av sjømenn i Queen's House, i tilknytning til sjømannshospitalet. Fra 1892 ble Royal Hospital School formelt opprettet der. Dette førte til at man trengte mer plass til internated, og fra 1807 ble det bygget to fløyer i øst og vest som ble knyttet til huset med kolonnader. Ytterligere utvidelser kom i årene frem til 1876. I 1933 ble skolen flyttet til Holbrook i Suffolk.