Росси учёл, что дворцу нужны парадные фасады с двух сторон - как со стороны Масляного луга, так и с воды.
Фасад дворца, обращенный на Среднюю Невку, выделен полу-ротондой, окруженной колоннами коринфского ордера. Лестница, ведущая к ней, украшена мраморными декоративными вазами. Гений Росси заключался в том, что он умел связывать в одно целое окружающий природный ландшафт и свои архитектурные проекты. Они делались неразрывными. Постройки становились частью природы, а природа выступала в качестве достойной оправы для архитектуры. В свое время княжна София Шуазель-Гуфье так охарактеризовала дворец: "… изящные контуры, белизна этого здания, построенного среди цветущих полей и вод, делали его подобным лилии, выступающей в хрустальной вазе среди букета цветов".
Поэт Константин Петрович Масальский посвятил виду дворца со стороны Невы строки, которые также наполнены лирическими сравнениями:
"Возможет ли поэзии резец
Изобразить Елагинский дворец,
Когда он месяца лучами освещённый
В кристалл Невы садится голубой..."