Les moines de choeur (moines chanteurs) sont aidés par des frères convers qui sont chargés du service domestique et des travaux agricoles. En général illétrés, ils ne pouvaient entrer dans la cléricature. Ce sont des personnes pieuses qui travaillent dur, issues d'ordinaire des classes laborieuses, incapables d'atteindre le niveau d'études nécessaire pour accéder aux ordres sacrés.

A l'étage, un demi-dortoir, prévu à l'origine pour les convers, fut transformé en grenier au XIIIe siècle. Pour protéger l'abbaye des bandes armées, un donjon bordé d'eau et un pont-levis furent construits au XVe siècle dans le prolongement de ce bâtiment.

Au XVIe siècle, les abbés commendataires y installèrent leur logis jusqu'à ce que leur soit attribué, en 1703 l'hôtel Saint-Vic à Saint-Amand-Montrond.

La superbe charpente est de construction plus tardive.  

Point de vue sur le cloître en sortant du dortoir des convers.

Après 1730 les moines firent redessiner et aménager la prairie en jardin d'agrément, et on découvre aujourd'hui ce parc bordé au sud par un bel alignement de tilleuls bicentenaires. Tout l'environnement originel se trouva donc modifié, les bois de la vallée abattus, les restes des fortifications rasés, le bief des pêcheries comblé. Lorsque la Révolution survint et que les religieux durent quitter les lieux, l'abbaye était prête à être vendue comme maison de campagne, au titre des biens nationaux. L'acquéreur en 1791 fut Amable-Jean Desjobert, un homme de loi parisien dont la famille était originaire de la région.

En 1822 cette grande demeure fut rachetée par des manufacturiers parisiens, les sieurs Merlin de Failly et Hull, dit Hall. Sans modifier le plan-masse des bâtiments, ils les transformèrent en fabrique de porcelaine.