La seigneurie passa au fils de Philippe de Pointes : François de Pointes qui se maria à Anne de Montarby. Ils eurent deux fils Antoine et Nicolas.On sait que le puîné fut page en la maison de Guise et nommé Gouverneur de Joinville où il mourut. Comme il l’avait ordonné son corps fut ramené à Chaudenay.
L’aîné Antoine épousa Marguerite de Chézeaux, fille d’Odo, seigneur d’Anrosey. Antoine mourut à Bar-le-Duc et fut inhumé en l’église collégiale de St-Pierre de cette ville dans la chapelle Ste-Anne.
François de Pointes eut alors la garde des ses petits-enfants : Antoine II et Claude en 1540. Claude eut l’honneur d’être page de l’écurie du roi Charles IX. Mais il fut tué d’un coup de pied de cheval. Antoine II, qualifié seigneur d’Anrosey, de Pisseloup et de Chaudenay en partie, épousa Marie de Cousin. Il eut trois fils et une fille : René, François, Jean et Judith.
Judith embrassa la vie religieuse au monastère de Sainte Moïlde près de Bar-le-Duc, Jean mourut sans postérité, François, seigneur d’Anrosey, épousa Christine d’Arrillot, René, seigneur de Chaudenay, se maria en 1589 à Nicole de Grilly, fille du chevalier Pierre de Grilly, seigneur de Villars-Saint-Marcellin, et de Gabrielle de Saint-Cyr. En 1595, il mourait à Blondefontaine. On transporta son corps à Chaudenay au tombeau de ses ancêtres.
Ses cinq enfants demeurèrent sous la tutelle de leur grand-mère paternelle. L’aîné qui s’appelait Réné, seigneur de Chaudenay et d’Anrosey, fut page du Comte de Vaudémont. Il épousa ensuite Marie de Bermon dont il eut plusieurs enfants.
Il semble que la famille de Pointes n’eut plus de descendants, puisque l’on n’entend plus parler d’eux.
Mais il est certain que les descendants de Sidoine de Montormentier restèrent seigneurs de Chaudenay jusqu’en 1789.
Mais que devient le village pendant cette période ?
On sait que Chaudenay fut, en effet, en 1637, ruiné par les Impériaux (ou Croates).
Ceux-ci avaient d’abord répandu la désolation à Fayl-Billot, avant d’aller à Corgirnon et à Torcenay où ils prirent plusieurs personnes. Ils vinrent ensuite à Chaudenay et menacèrent de brûler le village si on ne leur donnait 100 pistoles. Les seigneurs qui étaient alors les Karendefez, n’ayant pas immédiatement fourni cette somme, ils mirent le feu au village qui fut ruiné de fond en comble. Deux maisons seulement échappèrent à cet incendie.
Mais il semble qu’à chaque reconstruction le village s’éloignait insensiblement de la voie romaine ancienne, pour se grouper plus près du château fort.
Chaudenay possédait autrefois une léproserie, dont le revenu, en 1648 était encore de 200 livres.
