A principios del siglo XII Alfonso Henriques donó el pueblo conquistado a los moros, a la Orden de los Templarios y entonces su Maestre en Portugal, Gualdim Pais, ordenó construir este imponente castillo. Erigido sobre un promontorio de 758 metros de altura, presenta una planta poligonal, con murallas reforzadas mediante diversas torres cuadrangulares. Las murallas delimitaban dos recintos: el interno, de planta rectangular, donde se encontraba la torre del Homenaje, la cisterna, la Plaza de Armas, etc; y el externo, de planta ovalada irregular, se adapta a las gigantescas rocas sobre las que se asienta, dominando en altura una vasta region fronteriza con España.

Durante el tiempo el castillo sufrió diferentes modificaciones, con lo que lo que se ve hoy día no es lo que en sus inicios, en la edad media, era este majestuoso castillo. Don Sancho I repobló y reedifico la fortaleza que fue destruida en las luchas contra el Reino de León. Posteriormente fue de nuevo reparado por los Templarios. La capilla del castillo y el bastion artillero interno fueron reformados entre los siglos XVII y XVIII.