Sito en los macizos de roca que coronan la sierra de Valdecaballos, nunca fue realmente un castillo, sino más bien una atalaya acoplada al terreno. El lugar estuvo muy poco urbanizado, siendo los materiales encontrados en su entorno los utilizados en la construcción de dicho castillo. La Crónica de la Orden de Alcántara refiere que en el siglo XII un caballero cruzado en la misma, llamado Frey Domingo, el de la mano manca o la mano cortada, por haber perdido dicha extremidad peleando con los sarracenos, edificó entre riscos un casi inaccesible y bien fortificado refugio, donde se parapetaba, y desde donde sorprendía y atacaba a los seguidores del Islam que se aventuraban a penetrar y recorrer aquellos parajes. Existen dos versiones sobre la construcción de esta fortaleza.

La primera, del Sacristán Mayor Don Pedro Gutiérrez, quien afirma que Frey Domingo, Prior del Convento y Orden de San Julián del Pereiro (nombre originario de la Orden de Alcántara), fue el primer Freyre Clérigo que tuvo esta Dignidad, después de que Don Gómez tomó nombre de Maestre. Lo que nos dejó en vida escrito de él:

En tiempo de este Maestre, hubo un Prior en la Torre de los Frades. De este Prior, que en este tiempo allí hubo, llamado Frey Domingo de la mano manca, hombre de mucho valor, se escribe que aunque era Prior y a sus tiempos y sazones peleaba contra los Moros valerosamente, como entonces lo hacían también los Eclesiásticos en los monasterios que estaban en la frontera con los Moros, como estaban el convento del Pereiro y esta Torre. Fue este Prior el que edificó la fortaleza que se llama la Peña de Frey Domingo, entre las encomiendas de la Zarza y de la Moraleja, a donde se dice el Puerto del Caballo, cual fortaleza en nuestros tiempos se derribó por mandato del Emperador Carlos V.

La segunda versión es de Torres y Tapia, Cronista de la Orden de Alcántara, quien sostiene una versión diferente:

Cortaron a Frey Domingo una mano, de manera que quedó manco; defecto del que por derecho quedó irregular y que le obligó a dejar el oficio de Prior, y el Maestre Don Gómez por honrarle y en premio de los grandes servicios que había hecho a la Orden, le puso por comendador de la Torre de Alfandenga. Otra cosa que erró el Sacristán Mayor es afirmar que este Prior fundó la fortaleza que llaman Peña de Frey Domingo. No es este edificio tan antiguo, muchos años más adelante se edificó, porque es un privilegio que el Rey Alfonso IV dio a esta Orden en tiempo del Maestre Don García Sánchez, era de 1260, año de 1222 que le confirma la donación de la villa de Alcántara. Yo pienso que esta fortaleza la edificó algún comendador o caballero de esta Orden, después de que fue suya la villa de Milana, que se llamaba Frey Domingo, y con este nombre se conservó hasta la caída por mandato de Carlos V.

En años posteriores, esta fortaleza fue uno de los refugios del célebre paladín y zorro de los canchales de Sierra de Gata, llamado Fernán Centeno, daremos traslado con la siguiente nota: 

… se llegó a dar en la cabeza de otra sierra, que expresaron dichos apeadores y guardias (los que hacían la descripción de la encomienda de la Zarza), llamarse la Sierra de Hernán Zenteno, y que en ella, su extremo y cabeza acababa el término de la villa de Zilleros, quedando este a la mano izquierda, y a la derecha el de la Dehesa de Benavente, y principia el término de la encomienda de la Moraleja, y su Dehesa llamada de Malladas...

Y continuando dicho reconocimiento desde la Portilla de citada sierra de Hernán Zenteno, mirando al mediodía sierra adelante, se llegó al final de ella en que están unos grandes Peñascos de gorrón blanco, y en uno de ellos que hace la figura de un torreón, llamado el Castillo de Hernán Zenteno, debajo de él está una gran concavidad que parece haber servido de Caballerizas, por conocerse algunos vestigios de pesebres, y su entrada está mirando al mediodía. En la actualidad, se le da a este lugar los nombres de Castillo de Hornacenteno, o de Peña Sequeros, o del Madroñal, ubicado en la estribación noroeste de la Sierra de la Garrapata. En cualquier caso, refugio de comuneros durante el siglo XVI, fue mandato derribar por el Emperador Carlos V, misma suerte que corrieron los próximos castillos de Bernardo y Benavente, y el cercano de Salvaleón.




Fuentes: Velo y Nieto, - Castillos de Extremadura; Torres y Tapia - Crónicas de la Orden Militar de Alcántara.