En otro tiempo, Zahinos contó con un castillo o fortificación del que en la actualidad únicamente se conserva el Torreón de la zona alta, al que se aneja, en actuación arquitectónica poco adecuada, el Ayuntamiento erigido hace unas décadas.
El Castillo de Zahinos es una edificación defensiva cuyos orígenes se remontan a la mitad del siglo XV. Históricamente su nombre era «Castro Fuerte». Se trataba de una fortificación militar construida en la cima de un cerro. Y se encuentra en la parte más alta de la localidad de Zahinos.
Alrededor de esta fortificación creció el pueblo actual, que alberga también la iglesia parroquial de Nuestra Señora de los Remedios.
Se trata de una torre cilíndrica, toda ella es de mampostería, y se apoya en una base también cilíndrica de poca altura, 1,5 metros aproximadamente y de diámetro ligeramente superior al de la torre. Con esta configuración, parece que la torre está apoyada en una especie de podio y elevada respecto al suelo.
Con la única existencia de la torre no resulta fácil imaginar la forma del antiguo castillo.
Poco de sabe sobre este enclave histórico del pasado, tan solo su origen templario. Tampoco de conservan muchos restos, ya que hasta nuestros días sólo ha llegado la torre nordeste de trece metros, fabricada en mampuesto, y adosada al actual ayuntamiento.