Le château de Rochefort est une des rares traces de la période « pré-renaissance » en France. Construit sur l'emplacement de places-fortes plus anciennes, et campé sur un éperon rocheux, l'édifice est constitué de deux grandes parties : le logis seigneurial, avec ses six tours, et les communs, habités jusqu’en 1956. La construction vraisemblable d’un premier château commencerait au XIIe siècle, comme le suggère l’existence d’un manuscrit daté de 1196, mentionnant le nom de « Rupes Fortis » (Roche forte), nom d’une seigneurie, dont le premier seigneur s’appelait Eymon. On trouve des mentions des noms des seigneurs de Rochefort dans les textes d’archives au XIIIème, la seigneurie est rachetée par Jacques Coictier, chambellan de Louis XI après avoir été démantelée sur ordre du Duc Jean Sans Peur. Fin XVème siècle, Jacques Coictier a édifié le logis noble. En 1501, le château est racheté par la famille de Rochefort qui a possiblement édifié l’extension Ouest du corps de logis et de la chapelle, puis le château est acquis par Denis Languet, procureur au parlement de Dijon. Au XVIIè siècle, on construit probablement le corps de logis du massif d’entrée, la terrasse haute et le mur de soutènement « à niches ». Vers 1789, le château est racheté par la famille de La Guiche, propriétaire jusqu’en 2017. Dans les années 70, le château bénéficie pour la première fois d’un projet de protection qui débouche sur un échec, le laissant à l’abandon et à la dégradation pendant quelques années. En 1974, le site est classé au titre des Monuments Historiques. C’est en 2002 que voit le jour l’association « Les Clefs de Rochefort », membre de l’Union REMPART, composée par un collectif de citoyens qui mènent des travaux portés sur l’entretien, la restauration et la sécurisation du site. Une action de valorisation a également été entreprise par la mise en place de diverses manifestations. En 2015, l’Etat demande aux propriétaires de procéder à des travaux d’urgence de stricte conservation. En 2016, les propriétaires entament une procédure judiciaire contre l’Etat et perdent leurs procès. Le 06 décembre 2017, la famille de Laguiche, vend à l’euro symbolique le château à l’association « des Clefs de Rochefort ». Des travaux de grande ampleur ont lieu de décembre 2018 à décembre 2020 : leur objectif, la restauration et la sécurisation du massif d'entrée. À ce jour, les communs ont de nouveau un toit fait d'une charpente définitive et d'une toiture provisoire. Pendant ces deux années de travaux, des étaiements ont été réalisés dans les endroits les plus fragilisés, la brèche dans la tour du XVème siècle a été comblée. L'objectif de l'association est à présent de trouver les fonds nécessaires à la sécurisation du logis seigneurial ( mur de refend...).
