Las primeras evidencias de ocupación del entorno de Vilafamés, se centran en los hallazgos arqueológicos realizados en el Cova de Dalt del Tossal de la Font, donde se localizaron restos antropológicos con una antigüedad de 80.000 años. Una continuidad en la ocupación del medio estaría reflejada en la Cova de Matutano, yacimiento del Paleolítico Superior, con una antigüedad entre el 14.000 y el 11.000 BP.
Ya en el núcleo urbano de Vilafamés, tenemos las manifestaciones pictóricas del Abric del Castell, conjunto de pintura rupestre esquemática datada en periodo Eneolítico. Además existen diseminados por el término municipal gran cantidad de asentamientos de diversos periodos como el ibérico, con el máximo exponente en el yacimiento dels Estrets-el Racó de Rata, o con posterioridad cronológica los de época romana. La continua y densa población del territorio alrededor de Vilafamés, nos indican la idoneidad del lugar para la ocupación humana desde tiempos prehistóricos.
Por lo que respecta al núcleo urbano, el mismo topónimo Vilahameç, Beniffamez, denota su origen en época musulmana. De este periodo se conservan entre otros elementos, la cimentación del castillo que corona el cerro sobre el que se asienta el municipio y el trazado urbano de la zona contigua al mismo, de estrechas callejuelas tortuosas, donde la vegetación que mantienen los vecinos, las viviendas encaladas y la propia fisonomía, convierte a esta zona antigua en un remanso de paz y tranquilidad. Quedan asimismo vestigios de las antiguas fortificaciones constituidas por lienzos de muralla y restos de torres.
Este recinto primitivo de Vilafamés englobaría la parte alta de la población, más concretamente el castillo y la zona anexa del Quartijo, antiguo Ayuntamiento, iglesia de la Sangre, hasta las calles Hospital y Torreta, formando un espacio más o menos cuadrangular.
En el siglo XIII, después de la caída de Burriana en 1233, las tropas de Jaime I conquistarán la plaza tras su asedio. Este hecho lleva a que, en 30 de agosto de 1241, Jaime I comisione a Guillem Ramón de Viella para dar a poblar el castillo a Domingo Ballester, A. Cabrera y otros, carta de población que se establece a fuero de Zaragoza. Esta donación será confirmada posteriormente por el propio monarca en Lérida el 21 de febrero de 1242.
La orden de San Juan del Hospital, colaboradora de los monarcas aragoneses en la conquista valenciana, recibirá como recompensa a esta colaboración entre otras la villa y castillo de Vilafamés, de la que fue señora hasta 1317, fecha en que la villa y castillo queda anexionada a la recién creada orden de Santa María de Montesa. El 3 de diciembre de 1317 Gonzalo García, comisionado por el rey, recibe los bienes del Hospital. Un día después, se absuelve a los habitantes de Vilafamés del juramento de fidelidad que con la recién disuelta orden tenían. Enfermo en Peñíscola, fray Guillem d’Erill, primer maestre de Montesa, es fray Erimán d’Eroles quien en 3 de septiembre de 1319 en nombre de la orden recibe el nuevo juramento de los habitantes.
En 1343, Pedro IV el Ceremonioso, empeña a la orden el mero y mixto imperio, con las correspondientes jurisdicciones, derechos y emolumentos que pertenecían a la corona.
Juan I, estando en Valencia, en 1393 concede a Vilafamés el privilegio por el cual el Consell puede hacer y ordenar todo tipo de establecimientos y ordenaciones que considere convenientes con arreglo a los fueros generales del reino.
En las Cortes celebradas en Valencia durante el año 1403, Martín I el Humano dispone dar posesión al maestre de Montesa del mero y mixto imperio de la población, este hecho provocará la protesta airada del Consell en 1404.
Ya en el siglo XVI, en 1519, Carlos I promete no separar de la corona la jurisdicción civil y criminal, y el mero y mixto imperio de la villa. Cuando en 1635 culminan las desavenencias surgidas entre los Justicias, de una parte y la orden de otra, el Consell cree llegado el momento de solicitar del Papa Inocencio XII autorización para comprar la jurisdicción alfonsina, adquisición que lleva a cabo el 16 de abril por el precio de seis mil libras. A partir de esta fecha, Vilafamés queda incorporada plenamente al patrimonio real, reservándose Montesa la percepción de ciertas primicias y el derecho de habitación sobre el castillo.
Será en el siglo XIX, con los enfrentamientos civiles que siguen a la muerte de Fernando VII, cuando el nombre de Vilafamés sonará de nuevo dentro del ámbito histórico como plaza inexpugnable. En marzo de 1837 sufre el primer intento de asalto. El Serrador, cabecilla carlista, intenta el asedio que durará tres días, hasta que llega en auxilio de los sitiados una columna realista desde Castellón y obliga a levantar el campamento de los carlistas. El 29 de octubre de 1838 la guarnición de la plaza rechaza una segunda intentona, que se repetirá de nuevo el 3 de enero del siguiente año, esta vez con Cabrera al frente de las tropas, que desde las montañas que dominan la villa comienzan a hostigar a la población, rompiendo fuego contra la ciudadela. En esta ocasión se hizo frente al asedio por parte de los vecinos además de contar con la ayuda de una columna móvil enviada por el Ayuntamiento de Castellón y un destacamento de artillería de marina, muy poco numeroso. Cinco días duraron los continuos enfrentamientos, rechazando la población todos los ataques de Cabrera, hasta que el día 7 la llegada de tropas reales obligó al general carlista a levantar el sitio.
Con lo más selecto de sus tropas y recurriendo al auxilio de las de Forcadell, Cabrera intentará el golpe definitivo en abril del mismo año, estableciendo un campamento ante la población. El día 16 se abre una brecha en las murallas, aunque los atacantes son rechazados y resultan infructuosos todos los esfuerzos de tomar la plaza. Ante la imposibilidad de tomar la plaza, Cabrera levanta el campamento y se dirige hacia l’Alcora.