Внушительный особняк на пересечении улиц Павэ и Фран-Буржуа был построен в конце XVI века для Дианы Французской, герцогини Ангулемской, которая считалась внебрачной дочерью короля Генриха II. Диана купила участок земли, на котором располагался монастырь Святой Катерины, и приказала возвести этот дворец. Герцогиня завещала дом своему племяннику, Карлу Ангулемскому, внебрачному сыну короля Карла IX. Карл некоторое время прожил в особняке после смерти тёти, и пристроил к дому северное крыло. Он же приказал соорудить угловую башенку, которая выполняла не столько оборонительную, сколько декоративную функцию. Фасад, выполненный архитектором Эндрю дю Серсо, украшен шестью колоннами, объединяющими все этажи. В орнаментах, украшающих особняк, преобладают изображения охоты, военных трофеев, оленей и собак. Выбор барельефов и рисунков не случаен - он отсылает к античной мифологии, к покровительнице охотников Диане, тезке герцогини.
В конце XVII века особняк был куплен первым Председателем Парижского парламента, Гийомом де Ламуаньоном де Мальзербом. Часть помещений он сдавал. В то время в здании побывали многие известные в мире искусства персоны: писательница графиня де Севинье, драматурги Расин и Реньяр, поэт и критик Буало. Особняк претерпел несколько переделок: фасад со стороны сада был изменен, а балконы украшены эмблемами семейства Ламуаньон. Ворота в особняк украшены аллегорическими фигурами: ангел с зеркалом символизирует Истину, а второй, держащий змею, олицетворяет собой Осторожность. Эти два качества особо ценились в семействе Ламуаньон. Фасады украшены буквами "Д", в честь первой владелицы, герцогини Дианы, и "ЛМ" - инициалами второго владельца.
В XVIII веке королевский прокурор Антуан Морьо снял этот дом, чтобы разместить в нем свою коллекцию исторических книг и документов. Он завещал более четырнадцати тысяч томов городу. После его смерти доступ к коллекции сделали свободным, и в особняке де Ламуаньон появилась первая городская публичная библиотека. В начале XX века город выкупил особняк, а после Второй Мировой войны его тщательно отреставрировали. Сейчас в здании размещается историческая библиотека, в которой насчитывается более миллиона томов по истории Парижа.