Charbuy taucht in den Texten unter dem Namen Carbangiacus im 7. Jahrhundert auf, doch das Gebiet scheint schon viel früher besiedelt gewesen zu sein. Jahrhundert von Bischof Germain von Auxerre als Teil seines umfangreichen Besitzes in der Region seiner Kirche vermacht worden sein. Es wurde dann zu einem „Lehen“ der Bischöfe von Auxerre, die dort das Schloss Beaurepaire errichten ließen, das im 14. Jahrhundert zerstört wurde. Eine Besonderheit der Gemeinde ist, dass sie aus 17 Weilern besteht, die sich über 64 Kilometer Wegstrecke verteilen. Einige von ihnen, wie Riot, Brécy oder Le Ponceau, existieren bereits seit dem Mittelalter.
Das Château du Rosaire wurde im 19. Jahrhundert auf den Fundamenten alter Gebäude errichtet. Es beherbergt den Kindergarten, die Bibliothek und die Musikschule.
In der Gemeinde befindet sich der Stein Saint-Martin, ein Felsen, der an der Kreuzung von vier Gemeinden steht: Appoigny, Branches, Charbuy und Perrigny.


