Le château de Panzalla a des origines très lointaines, qui on peut faire remonter à l’age de l’ancienne Rome. En effet Pantius, son premier fondateur, était un centurion romain, au quel, arrivé à l’age de la retraite, furent donnés beaucoup d’hectares de terre.
Propre dans cette colline, il décida de bâtir son « Aula » (maison) c'est-à-dire en latin Pantius-aula et que devint au passe de siècle le nom estropié de Panzalla.
Pendante le moyen age, cette maison fut le fief de la famille Buondelmonti, qu’en fit un des ses châteaux, dont la parte plus ancienne de la structure actuelle en est le témoignage.
Dès lors l’histoire du château se côtoie à celle de la République Florentine avant et puis du Grand-duché de Toscane, jusqu’à s’entrelacer à la formation de l’Unité Italienne.
En fin le château dévient propriété des comtes de Miari Pelli Fabbroni, qui lui donnèrent leur nom.
Les comtes restructurèrent le château au style d’une villa du XIX siècle et en firent un pavillon de chasse où, à l’époque de Florence Capitale, séjourna le Roi Vittorio Emanuele II.
Les terres au tour du château étaient riches en gibier et luxuriantes en vignobles que, on conte, produisaient un vin très proche au Bordeaux.