Этот павильон строился одновременно с Эрмитажем, который находится неподалеку. Здесь готовили затейливые блюда вроде соловьиных языков, губ молодого лося, седла дикой козы и тому подобного.
Ужины в Эрмитаже отличались особо большим размахом во времена правления императрицы Елизаветы, которая любила роскошь во всем. Чтобы не нарушать атмосферу утонченных приемов кухонными запахами, еду готовили в отдельном здании. Однако близость кухни позволяла выполнять каждый каприз.
Говорят, что гость мог заказать любое блюдо, написав его название на грифельной доске и позвонив в колокольчик. Прислуга спешила получить заказ из кухни и доставить его наверх при помощи стола с подъемным механизмом. Стол раздвигался, и изысканные яства появлялись в зале как по мановению волшебной палочки. Сохранилось предание, что список блюд в меню был очень велик. Только Суворову удалось вызвать переполох на кухне, затребовав блюда, которых не оказалось, а именно солдатские щи и кашу.
Та кухня, которая обслуживала Елизаветины пиры, была разобрана при новой хозяйке, Екатерине II. И во второй половине XVIII века на месте прежнего павильона выстроили этот. Автором проекта стал Василий Иванович Неёлов. Перед тем, как приступить к работам в саду, он долгое время пробыл в Англии, как сейчас бы сказали, «на стажировке».
Неёлов привез оттуда множество идей, в том числе и гравюры с постройками в готическом стиле, которые по моде того времени возводили в английских парках. На готику намекает использование кирпича, и это дополнительно подчеркнуто выбеленными швами кладки. Другие готические мотивы – двухъярусная башня с зубцами, зубчатый парапет.
Павильон выполнял не только функцию кухни, а позже – придворной пекарни. Он служил также воротами, благодаря чему получил второе название – Красные ворота. Через них можно покинуть территорию парка, и оказаться в городе, на Садовой улице.