Il palazzo fu tra i primi edifici ad essere costruito nel settore nord-ovest della città murata alla fine del XV secolo ed aveva un piccolo "giardino delle delizie" ed un più ampio orto coltivato. Fu Raffaello Sanzio, secondo quanto testimoniato dal Vasari, a riprogettare l'edificio probabilmente nel 1514 per il Vescovo Giannozzo Pandolfini.
Il giardino ed il palazzo vennero arricchiti con statue, fontane con giochi d'acqua, doni del Papa Leone X, oltre ad una una grande quantità di fiori e piante tanto da avere in città una sua singolare notorietà come centro di cultura ai tempi di Ferrante (1550 ca.), Filippo (1600 ca.), Roberto (1750 ca.) ed altri membri della famiglia.
Alla fine del 1700 il così detto "ramo del Palazzo" della famiglia Pandolfini si sarebbe estinto se Eleonora, figlia di Agnolo, non avesse adottato il nipote Alessio. Fu lei a costruire una serra per custodire in inverno le collezioni di piante ornamentali. Con lei il Palazzo tornò ad ospitare artisti e letterati come nel rinascimento. Dal 1870 al 1885 ca. fu Alessio a procedere alla ristrutturazione del palazzo, a questo restauro ne sono seguiti altri due nel 1954/56 e nel 1994/96 per opera di Filippo Pandolfini padre degli attuali proprietari Roberto e Niccolò.
Il giardino trasformato da Eleonora in "giardino romantico all'Inglese" tornò a grande splendore grazie alla moglie del Conte Alessio, Sofronia Stibbert, che divenne anche un'esperta giardiniera. Sono famose le sue collezioni di camelie e cinerarie di cui alcune rarità botaniche furono premiate alla fine dell'800 dalla Società Botanica dell'Orticultura Il figlio Roberto per la moglie Beatrice Corsini costruì una serra per le orchidee sopra al giardino d'inverno, che fu l'ultima modifica apportata alla splendida residenza dei Pandolfini.
This palace, one of the first to be built in the north-west corner of the walled city at the end of the 15th century, had a small "Garden of Delights" and a larger kitchen garden. Vasari writes that the building was redesigned by Raphael, probably in 1514, for the bishop Giannozzo Pandolfini. The garden and the palace were embellished with statues, fountains and water displays - gifts from Pope Leo X - and such a large quantity of flowers and plants that the palace became quite a centre of culture at the time of Ferrante (ca. 1550), Filippo
(ca. 1600), Roberto (ca. 1750) and other members of the family. In the late 18th century, the so-called "palace branch"
of the Pandolfini family would have died out if Eleonora, daughter of Agnolo, had not adopted her nephew Alessio. Through Eleonora, who had a hothouse built
to contain her collection of ornamental plants in winter, the palace enjoyed
a new lease of life, and once again hosted artists and men of letters as it had in the Renaissance. From 1870 to around 1885 Alessio continued with the renovation
of the building; this restoration scheme was followed by two more, in 1954-1956 and in 1994-1996 by Filippo Pandolfini, father of the current owners Roberto
and Niccolò. The garden that had been transformed by Eleonora into a "romantic English-style garden" returned to its original splendour through the wife
of count Alessio, Sofronia Stibbert,
who also became an expert gardener.
Her collections of camellias and cinerarias are famous, and certain botanical rarities which she cultivated were awarded prizes by the Botanical Society of Horticulture
in the late 19th century. Her son Roberto built an orchid hothouse above the conservatory for his wife Beatrice Corsini, the last alteration made to the splendid Pandolfini residence.
