Rougemont était, au Moyen-Âge, un fief de la seigneurie d’Aschères, mais les deux domaines ont souvent été réunis, au cours de l’histoire, dans les mains de puissantes familles. Au milieu du XIIe siècle Aubert de Pithiviers était le seigneur de Rougemont et Aschères, dont hérita sa fille Isabelle, épouse de Guy de Nemours : c’est de cette époque que date la haute poterne fortifiée avec sa grande porte ogivale à laquelle on accède par un pont dormant. Le reste du manoir a été considérablement remanié au XVIe siècle par Charles Hotman, Maître des Comptes à Paris, seigneur de Rougemont.
