La costruzione del castello é fatta risalire al XII secolo. Conserva resti della cinta muraria e della torre, incorporata nella piccola chiesa antistante la suggestiva piazzetta. Al castello è collegato l’ultimo tentativo della famiglia Smeducci di riappropriarsi della città: Smeduccio, ultimo rappresentante della stessa confinato dal papa nel Castello di Ficano, in occasione della situazione instabile determinatasi in seguito alla rinuncia ai possedimenti pontifici e alla partenza per Milano di Francesco Sforza, espugna e mette a sacco il Castello di Serralta per poi dirigersi su San Severino, ma le truppe pontificie precedono Smeduccio e, nonostante il suo ritiro nei Castelli di Elcito e Frontale, sarà costretto alla resa e rinchiuso in Castel S. Angelo a Roma.