A un château primitif du haut Moyen Âge, probable simple tour de bois, a succédé au 12e siècle un premier château de pierres, qui fut lui-même profondément remanié et agrandi par Géraud de Maulmont, archidiacre de Limoges et conseiller du roi de France Philippe IV le Bel à la fin du 13e siècle. L'impressionnant mur-écran s'élevait à la hauteur des trois tours semi-octogonales. Comme les autres bâtiments, les tours étaient couvertes d'un toit de tuiles parfois vernissées. Les tours de l'est et de l'ouest sont pourvues d'un cul-de-basse-fosse. Celui de la tour de l'est est en cours de déblaiement. La porte en ogive était protégée par un pont-levis plusieurs fois transformé. Il manque aujourd'hui les toitures et la partie supérieure des tours et du logis. Le chemin de ronde était ouvert en alternance de meurtrières et de fenêtres de tir. Les pierres de construction du château ont été extraites sur place en créant le fossé sud. Entre 2008 et 2015, les bénévoles de l'association "Mons fortis" l'ont en grande partie dégagé des déblais accumulés au cours des siècles. Le château a appartenu à diverses familles (de Charny, de Bauffremont, de Chalon, d'Orange, de Nassau, le Tellier de Louvois, d'Harcourt, de la Forest) avec des retours périodiques aux mains des ducs de Bourgogne. Les modifications et restaurations les plus importantes ont été effectuées par la princesse Amélie d'Orange-Nassau au début du 17e siècle et par le baron de la Forest au début du 18e siècle. Le château n'a pas subi d'attaque ou de siège important, sauf pendant les guerres de religion de la fin du 16e siècle. Sensible aux prières de Julienne de Nassau de Bourbon, le roi Henri IV revient alors en 1604 sur sa décision de le faire détruire. Au début du 19e siècle, c'est finalement les propriétaires eux-mêmes (héritiers du baron de la Forest), qui en décideront la démolition afin de vendre les matériaux : tuiles, carrelages, bois de charpentes, pierres, etc. Les bâtiments nord et nord-est ont été presque entièrement démolis. La façade sud de Géraud de Maulmont a été en grande partie préservée. Seuls quelques brèches ouvertes dans la courtine et les tours témoignent de la récupération des pierres d'encadrement de fenêtres. Le logis éventré montre au rez-de-chaussée les vestiges d'une grande salle voûtées en ogive sur trois piliers, pavée et équipée d'une cheminée. La salle seigneuriale du premier étage de 250 m2 était chauffée par deux immenses cheminées, de grandes fenêtres ouvraient sur la cour du côté nord, le pavement était constitué de carreaux de sol bicolores vernissés ; le plafond était constitué d'une voûte de bois en berceau. La salle seigneuriale ouvrait directement sur la chapelle, située en arrière de la tour de l'est. Sous la chapelle se trouvait la cuisine équipée d'un four et d'une cheminée. A proximité, le puits est creusé en partie dans la roche a une profondeur de 28 m. Le rez-de-chaussée de la tour de l'ouest, entièrement restauré sert de petit musée lapidaire. Un parking précède la vaste basse-cour, protégée par un rempart flanqué de demi-tours et d'un pigeonnier. On y trouve une citerne récemment dégagée et remise en eau. Les hangars de l'association occupent l'emplacement d'anciens bâtiments agricoles. Un petit point de vente propose livres, documents et cartes postales.
