Karlbergin eli Mäkelän tilalla ehti olla 1800-luvun kuluessa monta omistajaa, ennen kuin silloinen kapteeni Standertskjöld hankki sen omistukseensa vuonna 1883. Mäkelän tila sai uuden nimen Carl Rennerfeltilta, joka omisti sen 1800-luvun puolivälissä. Hän nimesi paikan etunimensä ja tilallaan sijaitsevan korkean vuoren mukaan Karlbergiksi. Rennerfelt myös rakennutti Karlbergiin uuden päärakennuksen, ajalleen tyypillisen ristipäätyisen, satulakattoisen talon. Rakennus muistutti Katajiston kartanoa, vaikka olikin huomattavasti suurempi. Tämä rakennus laajennettiin sitten vuonna 1890 arkkitehti W. Aspelinin piirustusten mukaan kuvan barokkityyliseksi kartanolinnaksi. Vanajaveden rannassa kartanon edustapuiston reunalla näkyy laiturin päähän rakennettu uimahuone. Päärakennuksen eteläpuolella oli 1800-luvun lopulla runsaasti luonnonpuustoa.