Герасим Иванович Хлудов, купец 1-й гильдии, владелец Егорьевской мануфактуры, потомственный почетный гражданин, после смерти сына Павла в 1884 году задумал создать благотворительное заведение, которое содержалось бы на его капиталы. Для этого у купца Васильева он приобрел большое владение - бывшую фабрику с господским домом на берегу реки Яузы, в Сыромятниках. Но закончить начатое дело Герасим Иванович  не успел – 7 июня 1885 года его не стало.

На отделку и устройство зданий им было завещано 200 000 рублей, а также  неприкосновенный капитал в размере 300 000 рублей, проценты с которого должны были идти на содержание призреваемых и ремонт зданий.  А само учреждение должно было носить его имя.

Дело Г.И.Хлудова продолжили четыре дочери-наследницы: Прасковья Герасимовна Прохорова, Клавдия Герасимовна Вострякова, Александра Герасимовна Найденова и Любовь Герасимовна Лукутина. Решено было устроить богадельню на 100 женщин и 50 мужчин с домовым храмом с тремя приделами: главным во имя Преподобного Герасима Иорданского и двумя другими – во имя святых апостолов Петра и Павла и Преподобной Пелагии, покровительницы матери Г.И. Хлудова. Также решили часть некоторых построек приспособить для бесплатных квартир для вдов с сиротами  - в то время в Москве ощущалась сильная нехватка в таких заведениях. Для строительства был приглашен известный архитектор Б.В. Фрейденберг.
Благотворительное заведение наследницы передали в ведение Московского купеческого общества. В соответствии с завещанием Г.И. Хлудова оно получило название «Дом Призрения Бедных в Москве Мануфактур Советника Герасима Ивановича Хлудова».

13 августа 1887 год был утвержден устав «Дома призрения», а 8 мая 1888 года состоялось  его торжественное открытие. Здание богадельни у Б.В. Фрейденберга получилось строгое и стильное - центральный ризалит выделен полуколоннами и башенками, украшающими высокий щипцовый фронтон, а над богадельней возвышается большой купол домовой церкви. В день открытия в богадельню было помещено 50 женщин и 30 мужчин. В трехэтажном корпусе было устроено 87 комнат, в которых проживало 250 вдов с детьми.
Дочери Г.И. Хлудова стали пожизненными почетными попечительницами «Дома призрения». Учреждением управлял Попечительный совет, в который вошли дочери Г.И Хлудова и их мужья. Председателем Совета был избран Константин Константинович Прохоров, экономом – Александр Александрович Найденов. Дочери Г.И. Хлудова постоянно жертвовали средства на содержание и расширение «Дома призрения».

Бесплатные квартиры были быстро заполнены, но масса прошений постоянно  оставалась неудовлетворенной. Поэтому в 1887 году Александра Герасимовна предоставила 100 000 рублей на устройство дополнительного корпуса для бесплатных квартир и его содержание, а в 1895 году – 50 000 рублей еще на несколько комнат.

Прасковья Герасимовна Прохорова, потеряв мужа и  младшую любимую дочь Екатерину, в 1897 году пожертвовала 150 000 рублей на постройку и обеспечение неприкосновенным капиталом еще одного дома бесплатных квартир, а также на устройство в нем женского ремесленного училища на 60 учениц. Строительство было поручено архитектору Л.Н. Кекушеву, который много строил для наследниц Хлудовых. Также в память рано умершего мужа и матери Прасковья Герасимовна пожертвовала 100 000 рублей на устройство при богадельне «отделения для слабых и одержимых недугами престарелых лиц женского пола, нуждающихся в медицинской помощи».

Клавдия Герасимовна с мужем Дмитрием Родионовичем Востряковым предоставили 40 000 рублей на устройство в одном из корпусов «Дома призрения» начальной школы для сирот, проживающих в бесплатных квартирах. В 1893 году  было открыто училище на 35 учеников и учениц, которому было присвоено имя Востряковых. Чета Востряковых выделяла ежегодно на его содержание около 5000 рублей.

Таким образом, на берегах Яузы в Сыромятническом переулке вырос огромный благотворительный городок с парком, речкой и училищами. К 1913 году в богадельне содержалось 105 человек, в домах бесплатных квартир проживало 570 вдов с детьми, а в училищах обучалось 155 детей.

Благотворительный комплекс перестал существовать в 1918 году. Сначала в зданиях располагались разного рода конторы, затем - Научно-исследовательский институт Академии Наук. Перестала существовать церковь, ее поделили на этажи, а большой парк застроили.