Il Castello di Panzalla ha origini molto remote, risalenti agli antichi romani.
Pantius era un centurione romano al quale, arrivato all’età della pensione, furono assegnati molti ettari di terra.
Su questa collina egli costruì la sua aula (casa). L’ originaria dicitura latina “Pantius-aula” (la casa di Pantius), ha acquisito nel corso dei secoli la forma storpiata “Panzalla” .
Facendo un salto in avanti e arrivando nel medioevo, la casa divenne un feudo della famiglia Buondelmonti , i quali la trasformarono in uno dei loro numerosi castelli, costruendo quella che oggi risulta la parte più antica pervenutaci.
Nei secoli la storia del castello si affianca con la Repubblica Fiorentina prima, con il Granducato di Toscana poi, sino ad intrecciarsi con il Regno d’Italia. Divenuta infine Proprietà dei conti Miari Pelli Fabbroni, che gli assegnarono il loro nome, fu ristrutturata con rifacimenti ottocenteschi, e adibita a casino di caccia, dove, al tempo di Firenze capitale d’Italia, soggiornò il Re Vittorio Emanuele II.
I terreni circostanti erano un tempo ricchi di selvaggina e di lussureggianti vigneti che, si narra, producessero un vino molto simile al Bordeaux.