Das Castello di Panzalla hat seinen Ursprung bei den antiken Römern.
Auch Pantius war ein römischer Befehlshaber, dem nach Erreichen des Pensionsalters viele Hektare Landes überschrieben wurden.
Auf diesem Hügel erbaute er sein Haus (aula), die Pantius-Aula, dessen Name im Lauf der Jahrhunderte zu „Panzalla“ wurde.
Im Mittelalter wurde das Anwesen zum Grundbesitz der Familie Buondelmonti, welche den ältesten Teil zu einem ihrer zahlreichen Schlösser umbauten.
Danach folgten geschichtsträchtige Zeiten, von der Florentinischen Republik über das Großherzogtum der Toskana bis hin zum Königreich Italien. Das Schloß wurde Eigentum der Fürsten Miari Pelli Fabbroni die ihm ihren Namen gaben. Sie restrukturierten das Schloß im Stile des 18. Jahrhunderts und bauten es zu einem Jagdschloß aus. Wo, zu Zeiten als Florenz Italiens Hauptstadt war, König Vittorio Emanuele II verweilte. Auf diesen Ländereien, reich an Wild und Weinkulturen sagt man es gedeihe ein Wein, der dem Bordeaux sehr ähnlich sei.