Vivey est une seigneurie qui a presque toujours appartenu à la maison de Grancey. C'est un seigneur de cette maison, François Rouxel de Médavy, frère d'un maréchal de France, qui a bâti l'actuel château au XVIIe siècle. La demeure devait lui servir de maison de plaisance, mais cet évêque de Langres y résida peu car, n'ayant pas encore pris possession de son siège, il fut nommé archevêque de Rouen. Au début du XVIIIe siècle, le château et le fief appartenaient aux Seurot, seigneurs de Vaux, Isômes et Cusey (canton de Prauthoy actuel). Ces riches bourgeois de Langres ne se rendaient à Vivey que durant la belle saison. Lors de son mariage avec Jean Léaulté (issu d'une famille de parlementaires de Dijon) le 14 octobre 1728, Rose-Gabrielle, fille de Jean Seurot et d'Anne Pillot, reçut en dot le fief de Vivey. Les jeunes mariés eurent ensemble quatorze enfants, neuf filles et cinq garçons dont un mourut en bas-âge. Etablis à Langres, les Léaulté nouèrent des alliances avec plusieurs familles de cette ville (les Guyot de St-Michel, Lallemand de Pradine, Delecey, de Marivetz, etc...). Les quatre fils de Jean Léaulté furent anoblis par un édit d'Avril 1771. Selon la coutume de l'Ancien Régime, ils joignirent à leur nom patronymique celui de leurs fiefs. Ainsi, Bernard, l'aîné, prit le nom de Léaulté de Lécourt, Louis, le second, de Léaulté de Blondefontaine, Jean-Baptiste, le troisième, de Léaulté de Grissey, comme son père. Le dernier, Jean-Christophe, garda le seul nom de Léaulté de Vivey et, plus que ses frères, il appartient à l'Histoire de Vivey (cf. « La Croix-au-Loup »). D'inspiration médiévale, le château se fait remarquer par ses deux tours aux toits coniques recouverts d'ardoises. Après la famille Grancey, plusieurs familles se sont succédées. C'est à la famille Delecey qu'appartenait la demeure à la fin du XIXe siècle. Son charme romantique a inspiré André Theuriet, membre de l'Académie française, pour son roman Raymonde. Le château revint ensuite à la comtesse Mercier qui, sans héritier, revendit le domaine en 1936. Ce n'est que quelques années plus tard que le château abrita pendant 12 ans un hôtel-restaurant, « Le Relais du Lys », qui ouvrait ses portes durant la saison estivale. C'est avec sa bonne réputation qu'il accueillait des visiteurs venant de très loin parfois, et même des visiteurs célèbres quoique incognito. On y servait des produits frais et des plats originaux teintés de nouvelle cuisine dans un cadre presque historique. Aujourd'hui, la vieille bâtisse demeure vide et la végétation reprend possession de l'endroit comme elle l'a déjà fait depuis longtemps dans les autres possessions du châtelain. Pas de visite : site privé visible uniquement de l'extérieur.
