Il 1262, col ritorno del castello di Storace alla città di Osimo, seguito l'anno seguente da Staffolo, segna l'inizio del declino della "Respubblica Aesina". La sconfitta finale degli Svevi, a cui Jesi restò legata fino alla battaglia di Benevento, le costò la perdita del "Grande Contado". Molte località andarono soggette direttamente alla Santa Sede e Jesi, man mano, vide ridimensionare il suo territorio, definitivamente stabilitosi, nella metà del XV secolo, su un'estensione geografica corrispondente all'area odierna della sua diocesi, i "Castelli di Jesi": Belvedere Ostrense, Castelbellino, Castelplanio, Cupramontana, Maiolati Spontini, Monsano, Montecarotto, Monte Roberto, Morro d'Alba, Poggio Cupro, Poggio San Marcello, Rosora, San Marcello, San Paolo di Jesi, Santa Maria Nuova e Scisciano (oggi frazione di Maiolati Spontini).