El recinto amurallado de Buitrago del Lozoya tuvo desde antiguo barrios «extramuros», denominados arrabales de San Juan y del Andarrío, nombre que hace referencia a su situación al otro lado del río Lozoya.