Rotch comenzó la construcción del obervatorio en 1884 usando sus propios fondos, designado por los arquitectos Rotch & Tilden.