Это здание упоминается в документах, начиная с XV века. Жители города должны были самостоятельно изготавливать оружие для защиты себя и своего города. Оружие особенно необходимо было горожанам при двух осадах Вены турками — в 1529 и в 1683 годах, когда город оказался окруженным войсками Османской империи. Со временем, городские власти пришли к мысли, что изготавливать и хранить оружие нужно в определенном месте.
Императорский цейгхауз был построен в XVIII веке по проекту архитектора Антона Оспеля. Фасад здания богато украшен изображениями трофеев и флагов. На вершине — скульптуры, символизирующие Силу и Упорство, созданные итальянским скульптором Лоренцо Матинелли. Они держат в руках шар; на нем на золотой пластине выбит девиз тогдашнего императора Карла VI: "Последовательностью и силой".
Карл VI был последним чистокровным Габсбургом. Несмотря на все старания, долгожданного наследника у него так и не появилось. Чтобы родить сына, император следовал всем рекомендациям советников. Сначала ему рекомендовали украсить супружеские покои красным цветом, потом — китайскими картинками с изображениями интимного характера. Императрице было предписано за каждой трапезой выпивать не менее литра красного вина или других спиртных напитков красного цвета. Этот совет окончательно подорвал здоровье императрицы. И без того от природы тучная, она стала еще более полной и начала опухать. Кончилось тем, что она не смогла больше самостоятельно ходить, для нее было изготовлено специальное кресло, чтобы передвигаться по комнатам дворца. Но чуда так и не случилось: мальчик на свет не появился. Зато родились две здоровые и крепкие девочки. В результате, после смерти отца на престол взошла старшая из дочерей, Мария-Терезия. Это был первый и последний случай за всю историю габсбургской монархии, когда власть перешла в руки женщины. Поскольку сама Мария-Терезия вышла замуж за представителя другой династии — Лотарингских — семейная фамилия изменилась. С тех пор и по сегодняшний день все отпрыски этой семьи носят фамилию Габсбург-Лотарингские.
Но вернемся к цейхгаузу. Отец Марии-Терезии был последним, при ком здание служило по прямому назначению. Мария-Терезия стала использовать его для сбора и хранения лома ценного металла. Он шел на переплавку — для изготовления оружия и для создания скульптур.
В качестве лома сюда попали и драгоценные статуи скульптора Рафаэля Доннера, украшавшие фонтан "Провиденция" на одной из Венских площадей. Причиной послужило лишь то, что фигуры, символизировавшие австрийские реки, были изображены скульптором полностью обнаженными, что не соответствовало высокой морали самой императрицы и "смущало умы простых горожан". Целое столетие пролежали они в цейгхаузе, пока в XIX веке сюда не пришел один скульптор в поисках подходящего материала для своих работ. К своему удивлению он узнал статуи Доннера, к тому времени уже считавшегося классиком скульптуры. Фигуры вернули на их законное место, но все же, из уважения к уже покойной императрице, немного их "приодели": самые "вызывающие" места были задекорированы струящимися тканями, цветами и растениями.