Недалеко от западной окраины города, Поляковым Иосифом Васильевичем была куплена бывшая байская усадьба (возможно усадьба принадлежала Уали-хану). На этой территории в 1905 году заложена кирпичная мельница, которая была оборудована немецкими и швейцарскими машинами и механизмами. Функционировать она начала в 1907 году. В советское время здание было национализировано и передано мельзаводу № 8. Начиная с 1948 года, в здании располагалась махорочная фабрика. В 1955 году помещение старой мельницы передано швейной фабрики № 2, позднее объединенная с фабрикой «Комсомолка». К зданию примыкают современные постройки, дополнявшие в свое время технические помещения бывшей фабрики «Комсомолка».
Основное здание фабрики, в первоначальном варианте, представляло прямоугольное кирпичное сооружение с общими размерами в плане 23,5х8,2 м. Позже к нему пристроили многочисленные складские и вспомогательные помещения. Фундаменты кирпичные, ленточные, перекрытия — деревянные, по балкам, крыша – железная, по деревянной обрешетке.