Консульство было открыто еще в конце XIX века, но находилось некоторое время в другом месте. Шанхай к тому моменту уже стал вторым по величине городом Китая, на его территории постоянно жило и работало большое количество русских. Также через это ведомство осуществлялось взаимодействие с властями британского и французского секторов города.
Летом 1914 года Министерство иностранных дел Российской империи приобрело небольшой земельный участок на берегу Хуанпу в месте ее слияния с речкой Сучжоу. Вскоре было начато строительство здания, которое мы можем видеть сегодня. Четырехэтажный особняк консульства, крышу которого венчает небольшая башенка, сочетает в себе элементы немецкого возрождения и барокко.
Несмотря на то, что в конкурсе участвовали все известные архитектурные бюро Шанхая, включая «Палмер и Тернер», застроившие практически весь Бунд, был выбран проект немецкого архитектора Ханса Эмиля Лиеба.
Строительство консульства было завершено в феврале 1917 года. Работу принимало Министерство иностранных дел Российской империи, но первым жильцом суждено было стать уже сотруднику МИД Советской России. В 1924 году были установлены дипломатические отношения между СССР и Китаем, и вскоре в Шанхай прибыл генеральный консул Советского союза.
Три года спустя дипломатические отношения между Китаем и СССР были разорваны, консул был отозван, и до 1932 года здание пустовало. Затем страны снова начали общаться, но это продолжалось недолго. В годы второй мировой войны, когда Шанхай был оккупирован японцами, сотрудники консульства уехали на родину, и особняк на улице Хуанпу лу снова стоял пустым.
В 1949 году между СССР и Китайской Народной Республикой были вновь установлены дипломатические отношения, и советский консул вернулся в Шанхай, но опять ненадолго – до начала культурной революции. Генеральное консульство возобновило свою работу только в конце 1980-х годов и успешно функционирует по сей день.
Консульство занимается выдачей российских виз иностранцам, в его стенах граждане России, проживающие в Китае, могут заключить брак или развестись. Также тут работает школа, в которой обучаются дети русских, живущих в Шанхае.