Upporikas kapteeni, myöhemmin eversti Hugo Standertskjöld (1844–1931) osti Karlbergin kartanon kesäasunnokseen vuonna 1883. Arkkitehti Waldemar Aspelin suunnitteli kartanon vanhan puurakennuksen muutos- ja laajennustyöt, jotka valmistuivat vuonna 1890. Uudistetusta päärakennuksesta tuli ranskalaista barokkityyliä edustava linnamainen kartano torneineen ja ulokkeineen. Rakennuksen länsipäässä oli kahdeksankulmainen torni, jonka ylin kerros oli avovilpolana. Päärakennuksen lisäksi Standertskjöld rakennutti lukuisia vieraitaan varten Kavaljeerirakennuksena tunnetun huvilan. Kartanon pihapiiriin kuului useita muitakin rakennuksia, mm. hevostallit Aulangontien varrella ja oma punatiilinen sähkölaitos lähellä rantaa. Karlbergin kartanon päärakennus tuhoutui tulipalossa talvella 1928.