Maaherra Stichaeus oli jo vuonna 1836 rakennuttanut köyhiä varten Myllymäkeen pappilan maalle talon, jossa oli neljä huonetta ja tilava ullakko. Rakennuksen siirtoa kaupunkiin suunniteltiin 1840-luvulta lähtien. Köyhäinhoitokunta anoi kaupungilta tonttia Kaivokadun ja Koulukadun kulmasta, vaunumaakari Nyholmin ja vaskenvalaja Gillbergin talojen läheltä. Tontti saatiin, mutta siirto jäi, ja talo päätettiin lopulta myydä. Talon osti Eva Savonius, se siirrettiin keskustaan ja rakennuksesta tuli Ruotsalaisen tyttökoulun huoneisto. Uusi vaivaistalo oli tarkoitus rakentaa, "kun varat sallivat". ("Vaivaiset asetettiin vastaiseksi huudolle, eli vähiten maksua ottava sai köyhän hoitaakseen".) Vuonna 1861 köyhäintyöhuone vihdoin päätettiin rakentaa saadulle tontille, ja se valmistui vuonna 1862. Puisessa päärakennuksessa oli viisi huonetta, keittiö ja johtajan huone. Leipomo- ja ulkohuonerakennus rakennettiin kivestä, ja siihen sijoitettiin myös mm. kolme houruinkoppia. Rakennusta ei pariin vuosikymmeneen kuitenkaan käytetty köyhäinhuoneena, vaan köyhäin lasten kouluhuoneena. Vasta 1880-luvulla rakennus saatiin köyhäinhuollon käyttöön. Kesällä 1910 valmistui Myllymäen kaupunginosaan Kankaantaustan kylään vievän tien länsipuolelle uusi köyhäintalo ja mielisairasosasto. Vanha työhuone luovutettiin viereisen kaupunginsairaalan käyttöön kulkutautiosastoksi.