Tra il XV e il XVI secolo i Monsorio sottoposero l’edificio ad una importante ristrutturazione che gli conferì l’attuale aspetto. I Monsorio restaurarono l’edificio prendendo spunto da Castel Nuovo a Napoli come si evince dalla planimetria, dal prospetto principale e dall’impostazione del cortile interno. Il Castello è a pianta trapezoidale con agli angoli tre delle quattro torri cilindriche originarie, una delle quali (quella che guardava verso la Collegiata di Santa Maria Assunta) è crollata nei secoli scorsi probabilmente a causa di uno dei tanti terremoti che si sono avvertiti nella zona.