Situat a dalt de la vila, on es documenten indicis de poblament anterior (abric del castell), l’ús del castell com a tal és d’origen andalusí, tal com es desprèn de la denominació que se li atorga a l’indret en diversos documents: “Beni-Hamez”. Conquerit per Jaume I el 1233, ha patit diferents reformes al llarg de la història, tot i que els vestigis més antics són del segle XIV, moment en què el mestre de l’orde de Montesa obliga els habitants de Vilafamés a reparar i reforçar les fortificacions del lloc (1375) alhora que es transforma en un gran castell-palau. L’aspecte actual es va configurar al segle XIX durant les guerres carlines en què es va construir la torre central circular, un dels pocs exemples d’arquitectura carlina de la Comunitat Valenciana.

Declarat Bé d’Interès Cultural i inscrit a la categoria de Monument.