Los templarios que habitaron Idanha-a-Velha construyeron un pequeño castillo defensivo sobre la base de un antiguo templo romano en el siglo XIII, de este pequeño reducto tan solo queda la torre del homenaje, lo que hoy conocemos como la Torre de los Templarios, se encuentra justo en frente de la puerta de una vivienda familiar, la torre tiene una planta cuadrada y esta levantada con robustos sillares de piedra, aparentemente no hay ninguna puerta de acceso, tan solo una ventana con un arco apuntado a un metro del nivel del suelo.

La antigua entrada a la torre del homenaje del castillo de Idanha-a-Velha era esa misma, una puerta con un arco apuntado accesible por una escalinata móvil que se apoyaba en un bloque saliente al nivel del suelo, me coloqué de espaldas y con un buen impulso pude subir hasta la ventana, el interior no tiene gran cosa, estaba invadido por vegetación, en su interior se pueden ver los tres niveles que tenía la torre, varios bloques de piedra sobresalen definiendo muy bien lo que fue el segundo piso y algunos en el tercer piso, pero la parte de arriba está más deteriorada y tiene una forma irregular.

Desde el exterior, a la izquierda de una de las ventanas del segundo piso se pueden ver una ménsulas que muy probable sujetasen un balcón en el tercer piso hoy en día desaparecido, tras las excavaciones arqueológicas que se llevaron a cabo a partir de 1955 en la aldea de Idanha-a-Velha por los arqueólogos Fernando de Almeida y Veiga Ferreira la torre fue parcialmente restaurada, al menos para mantener sus muros ya que había sufrido un gran deterioro tras su abandono por parte de la Orden del Temple en 1510.