Средняя Арсенальная башня получила своё название в XVIII веке после возведения на территории Кремля здания Арсенала. До этого она называлась Гранёной из-за разделённого на грани фасада. Башню возвели в 1495 году на месте древней башни времён правления Дмитрия Донского. Как и остальные кремлёвские башни, Средняя Арсенальная оснащена парапетом и бойницами, так называемыми машикулями. Машикули — это навесные бойницы, расположенные в верхних частях стен и башен средневековых укреплений. С развитием огнестрельного оружия машикули утратили оборонительное значение. Их стали использовать как элемент архитектурного декора на зданиях в псевдорусском и неорусском стилях.
В XV веке башни Кремля выглядели иначе. У них не было привычного нам шатрового завершения. Только в 1680-х годах все башни Московского Кремля получили четырёхгранный или восьмигранный шатёр и красивый шпиль либо флюгер. Самые важные башни были декорированы с особым изяществом. После надстройки высота Средней Арсенальной башни составила почти 39 метров.
При разбивке Александровского сада у подножия Средней Арсенальной башни Осип Бове спроектировал декоративное сооружение, известное как Итальянский грот или грот «Руина».
Он был построен в 1820–1823 годах в память о сожжённой в 1812 году Москве и символизирует возрождение города из пепла. Мало кто знает, что при постройке грота были использованы обломки разрушенных во время войны зданий. Полукруглая арка как бы поддерживает наваленные сверху остатки старых зданий. Внутри арки располагается мраморная колоннада. Так как при значительной толщине колонны имеют небольшую высоту, создаётся впечатление, что колонны ушли в землю под весом обломков. Дорические колонны грота строги и лаконичны. Их капители не имеют никаких украшений.
На вершине грота устроена смотровая площадка. Оттуда можно увидеть Манежную площадь, Александровский сад и Большую Никитскую улицу.
Рядом с Итальянским гротом у Средней Арсенальной башни находится уникальный Романовский обелиск. Он был установлен в честь трёхсотлетия дома Романовых в 1914 году. На нём были выбиты имена всех царей династии от Михаила Фёдоровича до Николая II. На основании обелиска изображён герб Москвы с Георгием Победоносцем, а вокруг — гербы губерний и областей России. Над именами правителей выбит герб боярского рода Романовых — грифон с мечом и щитом. Первоначально Романовский обелиск был установлен у главного входа в Александровский сад, на том месте, где сегодня располагается могила Неизвестного солдата. В 1966 году его перенесли к гроту.