Палац зведений в першій половині XVІ століття на базі об’єднання трьох середньовічних будинків, в тому числі резиденції Рінальдо дельі Альбіці. Нинішній вигляд палац набув у кінці XVІ століття, коли новий власник сенатор Баччо Валорі Молодший, хранитель бібліотеки Mediceo Laurenziana, замовив новий проект фасаду архітектору і скульптору Джованні Баттіста Каччіні. За ідеєю самого власника, фасад прикрашений 15 барельєфами – портретами видатних науковців і митців Флоренції. На нижньому рівні (з підписами у табличках під барельєфами) зображені Аккурсіо, Пьєтро Торріджано Рустічеллі, Марсіліо Фічіно, Донато Аччайуолі, Пьєр Ветторі; на другому рівні - Амеріго Веспуччі, Леон Баттіста Альберті, Франческо Гвіччардіні, Марчелло Адріані і Вінченцо Борджіні; на третьому рівні - Данте, Петрарка, Боккаччо, Джованні Делла Каса и Луіджі Аламанні. Погруддя Козімо I Медічі над порталом також виконав Джованні Баттіста Каччіні.
Дивлячись на фасад, можна легко побачити три будинки, з яких складається палац: у центрі будинок Рінальдо дельі Альбіці, на фасаді якого збереглись два щити з гербами родини початку XV століття; праворуч – будинок у два вікна з майже зруйнованим гербом, який неможливо ідентифікувати; ліворуч – будинок з гербом родини Пацці – парою дельфінів. Реставрація фасаду проводилась у 1936 році і 1989-1990 роках. Вузенька вуличка не дозволяє сфотографувати палац анфас повністю.
Будівля включена до списку генерального директорату старожитностей і мистецтв 1901 року як національний художній спадок.
Rū mai buvo pastatyti 16 amž iaus pirmoje pusė je trijų viduramž ių namų , į skaitant Rinaldo del Albizi rezidenciją , pagrindu. Dabartinę iš vaizdą rū mai į gavo XVI amž iaus pabaigoje, kai naujasis savininkas senatorius Baccio Valori jaunesnysis, Mediceo Laurenziana bibliotekos kuratorius, už sakė naują fasado projektą , kurį sukū rė architektas ir skulptorius Giovanni Battista Cacchini. Pasak paties savininko, fasadą puoš ia 15 bareljefų – iš kilių Florencijos mokslininkų ir menininkų portretai. Ž emesniame lygyje (su už raš ais lentose po bareljefais) yra Accurcio, Pietro Torrigiano Rusticelli, Marcilio Ficino, Donato Acchaiouoli, Pierre'as Vettori; antrame lygyje - Amerigo Vespucci, Leon Battista Alberti, Francesco Guicciardini, Marcello Adriani ir Vincenzo Borgini; treč iame lygyje - Dante, Petrarch, Boccaccio, Giovanni Della Casa ir Luigi Alamanni. Cosimo I Medici biustą virš portalo taip pat atliko Giovanni Battista Cacchini.
Ž velgiant į fasadą , nesunkiai matosi trys rū mus sudarantys namai: centre – Rinaldo degli Albič io namas, kurio fasade iš likę du skydai su XV amž iaus pradž ios š eimos herbais; deš inė je - namas su dviem langais su beveik sunaikintu herbu, kurio negalima atpaž inti; kairė je – namas su Patzi š eimos herbu – delfinų pora. Fasadas restauruotas 1936 m. ir 1989-1990 m. Siaura gatvelė neleidž ia nufotografuoti viso rū mų veido.
1901 m. pastatas į trauktas į Senienų ir meno generalinio direktorato są raš ą kaip nacionalinis meno paveldas.