По архивным материалам известно, что по просьбе хана Абылая, и с разрешения царского правительства, для его пребывания в окрестностях крепости Св. Петра, вверх по реке Ишим, в горах Янгистау, в 1765 году был построен деревянный дом. Дом и пространство вокруг него предназначалось не только для жительства, но и для решения конфликтных вопросов. Существуют различные версии о месторасположении этого дома. Предположительно установлено, что оно находилось в четырех верстах от крепости, выше по течению реки Ишим, под «горой» (имелось ввиду понижение местности), которое впоследствии (со второй половины XIX века) оказалось в черте города. С другой стороны, достоверно известно, что в пределах пятнадцати километровой зоны от крепостей категорически не отводились участки для неграждан Российской империи. Позже, по версии легенды, дом сгорел во время одного из пожаров, часто случавшихся в городе, а на его месте был построен каменный (достовернее всего, здание мельницы Полякова). Как гласит народное предание, после утверждения царским правительством, в 1821 году, сына Абылай-хана — Уали — ханом среднего жуза, на верхнем Петропавловском форштадте, для него был построен двухэтажный каменный дом. С тех пор в городе Петропавловске находилась зимняя резиденция хана Среднего жуза.
Здание построено в 1829 году из кирпича, на кирпичном же фундаменте и, вплоть до 1917 года, использовалось для размещения военного лазарета. Высота первого этажа – 2,75 м, второго этажа – 4,10 м. Общая высота здания – 12,4 м. Длина — 44 м, ширина — 18,5 м. Толщина наружных и внутренних стен на первом этаже — 1,2 м., на втором этаже -1 м. Ширина комнат на всех этажах – 5,4 м. Ширина коридора на первом этаже – 2,8 м, на втором – 3,3 м.