Il Palazzo Cesi fu costruito nella prima metà del Cinquecento per volere di Gian Giacomo Cesi, conte delle Terre Arnolfe.
L'edificio sorge sui resti di un antico fortilizio trecentesco, i cui muri fortificati furono utilizzati come fondamenta. Il palazzo si compone di due corpi principali: il più antico, risalente probabilmente al Quattrocento, è situato a monte della strada, mentre il secondo, più recente, si affaccia sulla vallata ternana.
Questi due corpi sono collegati da un corridoio pensile, sostenuto da un arco sottostante, e ognuno presenta un portone bugnato perfettamente conservato.
Gerberto Cesi, XIII duca di Acquasparta, morì nel 1888 senza lasciare discendenti, e la sua eredità passò alla sorella Elvira, deceduta nel 1924. Elvira sposò il marchese Gaspare Cittadini, dando così origine alla famiglia Cittadini Cesi.
La duchessa Elvira Cesi trasformò l’uliveto adiacente al palazzo in un elegante parco terrazzato, di stile romantico, arricchito da piante di moda nel primo Novecento: palme, ippocastani e bulbi di gigli della Madonna. Il giardino includeva anche una tipica "grotta romantica".
