Atribuido en su origen a la orden de los Templarios, su historia viene de lejos aunque su actual aspecto se debe a la familia Mendoza en el siglo XV, donde ostentaban su señorío sobre la población de Torija.