Sembra che dove ora sorge il Palazzo degli Anziani risiedesse il potere civile della città già dall’alto medioevo e che il primitivo palazzo fosse andato distrutto durante un’incursione saracena. Secondo il Vasari il palazzo attuale fu costruito su disegno di Margaritone d’Arezzo nel 1270 e l’illustre artista avrebbe anche scolpito le finestre della facciata principale e i bassorilievi con storie bibliche che le inframezzavano, di cui rimangono ancora in loco due formelle.
La facciata rivolta verso il mare appare particolarmente suggestiva, con l’altissimo basamento ad arconi gotici sul quale si innesta la costruzione. Sede universitaria fino a pochi anni fa, il Palazzo degli Anziani è attualmente in restauro e viene parzialmente utilizzato come sede per mostre ed attività culturali.