La historia del convento de San Sebastián se remonta a la Baja Edad Media, fundado por los franciscanos a comienzos del siglo XIV. Sobre él estableció capellanía perpetua Beltrán de Guevara en 1441. El cenobio fue reedificado en la primera mitad del siglo XVII, interviniendo el maestro de cantería Juan de Naveda.
A partir de1596 se produce una reforma de los accesos a la iglesia, y de la zona a los pies de ésta, reforma realizada en estilo clasicista. Las obras constan de rebaje y terraplenado del acceso al monasterio, la construcción de una portada y la elevación de la primera bóveda con ladrillo enyesado de la iglesia. Se trataba de la sustitución de una capilla gótica muy baja, por una capilla clasicista con los elementos clásicos apocopados, como es característico de finales del siglo XVI.
En 1600 se hizo, en el lado norte, la portería y la librería. El convento fue reedificado a principios del siglo XVII, con esta reforma, la primitiva iglesia fue derribada en 1628. Además se construyeron el claustro, refectorio, coro, hospedería y en general todo el convento.
En 1663 se reparó y amplió el muelle del convento.
Hacia 1719-1721 un rayo cayó en el refectorio que apeó la espadaña y oficinas, los cuatro paños del claustro y la anterior sacristía. En 1739 se reconstruyó una parte de las dependencias conventuales.
Junto a la iglesia se halla un pequeño claustro, construido en el siglo XVII, en estilo clasista. Presenta dos pisos con series de tres arcos, todo de muy pequeño tamaño pero de muy interesante arquitectura y perteneciente a la misma campaña constructiva que la iglesia.