Rummelsburgs første bygning var et teglverk som ble reist ved Rummelsburger See (dengang kalt Stralauer See) i 1669. På 1700-tallet ble det på stedet bygget et meieri som senere fikk navnet Charlottenhof. Etter 1775 ble det etablert fiskerivirksomheter og gartnerier på stedet. Meieriet ble kjøpt av Johann Jakob Rummel som omgjorde det til et vertshus han kalte . Senere gikk navnet over på hele bosettingen.