L’edificio, di chiara impronta seicentesca, è caratterizzato dall’accostamento di due ali con portali simmetrici, ai lati di un corpo principale, più alto, che vede il monumentale portale blasonato che immette in una corte interna.
Il Palazzo, eretto nel XVII secolo, appartenne alla famiglia Contelori.
Uno dei membri della famiglia, Mons. Felice Contelori, fu custode della Biblioteca Vaticana, storico illustre e autore delle Memorie della terra di Cesi, la maggiore fonte storica degli eventi della cittadina.
Fino al 1927 il palazzo è stato sede comunale.
Successivamente, l'antico palazzo fu trasformato, parte in ostello e parte in casa vacanze.
Fu proprio nel corso dei lavori di ristrutturazione che venne asportato il congegno meccanico che faceva funzionare l'orologio pubblico, presente sulla facciata del palazzo dalla seconda metà dell'Ottocento.
