L’imponente Palazzo, iniziato probabilmente nel 1487 da Camillo, Paolo e Vitellozzo Vitelli, fu terminato da Alessandro dopo il 1546. La sua architettura signorile e severa risente dell’influenza e del gusto della vicina Toscana. Non si conosce l’architetto. Il cornicione è stato aggiunto nel corso del XVIIII secolo, quando ormai il Palazzo era passato di proprietà alla famiglia Bufalini. La facciata posteriore si apre su un ampio cortile luminoso che è limitato a nord da un altro corpo di fabbrica, indicato come Palazzo Vitelli all’Abbondanza. In realtà questo è il primo nucleo dell’edificio e certamente già in origine costruito come magazzino del grano, onde il nome all’Abbondanza. Questo palazzo, rimasto incompiuto, conserva nell’architettura un carattere più severo, probabilmente per la sua diversa destinazione. All’interno sopra il sotterraneo a volte a crociera su massicci pilastri, si estende la scuderia, coperta a volte sostenute da alte colonne. Il piano superiore è costituito unicamente da un salone soffittato che conservava sulle pareti un’alta fascia affrescata con decorazioni e figure oggi molto frammentarie e poco leggibili.