L'extensió total del Castell de Xivert és de 8.000 metres quadrats, cosa que el converteix en un dels més grans de la CV. Des de dalt del campanar podem veure el castell templer, a l’interior del qualhi ha una única finestra des d'on es veu l'ermita de Santa Llúcia, bé d'interés cultural del segle XVII, i que es troba a 315 metres sobre el nivell del mar.

Al castell es fan visites guiades en què es parla de la història dels àrabs i dels templers que l'habitaren.