L'existence du Prieuré est attesté depuis 1103,date à laquelle il est donné à l’abbaye de Cluny par le comte de Toulouse.

Histoire et terroir de Charolles: Racheté par Philippe le Hardi en 1390, le comté se trouve dans l'héritage de Charles le Téméraire.

A sa mort, Louis XI nomme un bailli royal à Charolles, qui passe à l'Autriche avec la dot de Margueritte de Bourgogne.

Le statut particulier du comté perdurera jusqu'en 1761, où il sera rattaché à la couronne de France.