Se cree que este castillo se construyó durante la época de la Reconquista por D. Sancho I, como parte de la política de fortificación llevada a cabo en la región,  ante las amenazas que representaba el Reino de León al este y los musulmanes al Sur. Los dominios de la población y el castillo fueron donados en el año 1220 por D. Afonso II a la Orden de Santiago, para que la poblase y defendiese. Pero fue D. Dinis quien finalmente donó los dominios de la villa y castillo a la Orden del Temple en el año 1303.

Construido, posiblemente, durante el reinado de D. Sancho I para ayudar a proteger la frontera portuguesa de las embestidas de León, el castillo de Penha Garcia fue donado por D. Dinis a los Templarios más de cien años después, volviendo a ser posesión de la Corona en el siglo XVI, con la extinción de las órdenes.
Vale la pena subir a la cima de la peña para recorrer las imponentes murallas y observar el magnífico paisaje que rodea la población. Las piedras nos cuentan la leyenda de que por allí todavía vaga el fantasma del antiguo alcaide del castillo, D. Garcia. Tras secuestrar a la hija del gobernador de Monsanto, D. Branca, el noble fue capturado y condenado a muerte.  Pero los llamamientos a la misericordia de D. Branca supusieron la reducción de su pena. Condenado a perder un brazo, D. Garcia sigue siendo conociendo como "el cercenado".