Императрица Екатерина II чувствовала себя неуютно в большом Зимнем дворце, поэтому повелела построить рядом с ним более скромное жилище. Юрий Фельтен построил по её повелению трёхэтажный корпус, выходящий на Миллионную улицу. Фасад на Миллионной улице повторяет мотивы декора Зимнего Дворца, вторя ему своими горизонтальными членениями и белоснежными колоннами.
Позже другой архитектор екатерининской эпохи, Валлен-Деламот возвёл второй корпус, выходящий на Неву. Его Екатерина называла "Ламотовым павильоном", по имени архитектора. Южное крыло со стороны Миллионной улицы также имело неофициальное название - "Фаворитский корпус", так как здесь жили сначала Григорий Орлов, а затем Григорий Потемкин – фавориты императрицы.
Оба корпуса были соединены висячим садом. В саду цвели редкие растения, и жили заморские птицы, а в галереях, идущих по обе стороны сада, Екатерина хранила свои собрания европейской живописи, которыми любовалась в минуты отдыха. Позже за зданием закрепилось называние "Эрмитаж", что переводится с французского как "мой уединённый уголок", так как здесь Екатерина любила бывать в минуты отдыха, общаясь с узким кругом приближённых или любуясь картинами.
Так было положено начало огромной коллекции будущего Государственного Эрмитажа. Да и сама идея создания этого музея пришла Екатерине в голову именно здесь - в одном из писем она призналась, что кроме неё любоваться выставленными в нем картинами могут только мыши, и что она считает необходимым исправить эту ситуацию. Устройством общественного музея на основе императорских коллекций занялись уже её потомки в ХIХ веке. Сейчас это здание является частью эрмитажного комплекса.
Возможно, у ворот, ведущих во внутренний дворик между Зимним дворцом и Малым Эрмитажем, вы увидите котов. Это - знаменитые коты Эрмитажа. Они уже давно стали культурным достоянием музея, наряду с полотнами Матиса и да Винчи. Появились коты в Эрмитаже ещё при Екатерине II, для борьбы с теми самыми мышами, любившими её картины. Использовать котов было удобнее, чем мышеловки. Во время блокады, в которой город находился во время Великой Отечественной войне, взятый в кольцо войсками Германии, коты исчезли, и не только из Эрмитажа, но и из всего города. Сразу же после снятия блокадного кольца, наряду с провиантом, в город с юга прибыл специальный эшелон, доставивший 2 вагона котов. Их разобрали практически мгновенно. Сегодня четвероногих "сотрудников" Эрмитажа около 60 – рыжих, серых, белых, черных, полосатых, породистых и простых. У всех есть имена, например, Батон, Сэр, Маркизет и, конечно, Барсик.