Les parties visibles les plus anciennes du château remontent au XIIe siècle mais un premier château existait déjà autour de l’an mil.
Le château deviendra un repère cathare au XIIe et au XIIIe siècle. En 1360, de par le traité de Brétigny, le château devient inféodé à la couronne d’Angleterre. En 1375, les Français s’en emparent.
Le futur archevêque de Cambrai, François de Salignac de La Mothe-Fénelon dit Fénelon naît au château en 1651.
À la Révolution française, le château sert de magnanerie.
Inscrit aux monuments historiques en 1927, il est classé en 1962. Trois dépendances extérieures au château sont également inscrites depuis 1962: la ferme de la Condamine, la maison de la nourrice et la métairie de Fraysange.
En 1966, après le passage d’un avion supersonique, l’une des tours de l’enceinte sud s’écroule.
Début juin 2022, à la suite de violents orages, la toiture de lauze de l’ancien donjon, en cours de rénovation, a laissé passer la pluie qui a traversé trois étages de plancher.