O imóvel que hoje abriga o Museu Casa de Rui Barbosa foi construído em 1850 por Bernardo Casimiro de Freitas, o futuro Barão de Lagoa, que comprara o direito de uso no ano anterior a José Fortunato da Cunha e sua esposa, Maria Claudia da Cunha, por sete contos de reis.

O construtor
Bernardo Casimiro de Freitas nasceu no Porto, em 1813, filho de Casimiro de Vilar e de Ana Casimiro de Freitas, e morreu no Rio de Janeiro, a 7 de dezembro de 1894. Foi negociante da praça do Rio de Janeiro e Comendador da Ordem de Cristo, tendo recebido o título de Barão de Lagoa de D. Luís I, rei de Portugal, em 1871.

Casou-se no Rio de Janeiro em 28 de novembro de 1835 com Ilídia Maria Cândida Borges Monteiro, irmã de Candido Borges Monteiro, futuro Visconde de Itaúna (titulo brasileiro). Nascida no Rio de Janeiro em 1818, Ilídia Maria era filha do capitão José Borges Monteiro e de Gertrudes Maria da Conceição. Do casamento tiveram Carolina de Freitas e Ilídia Maria de Freitas.

Em 1879, a propriedade foi transmitida pelo Barão, então viúvo, seu genro, o segundo Barão de Lagoa, António Maria do Amaral, e filhas - Carolina e Ilídia, Baroneza de Luso, viúva -, ao comendador Albino de Oliveira Guimarães, por sessenta contos de réis.

Segundo escritura, a propriedade da rua São Clemente 98, outrora 66, tinha a seguinte ocupação:

A casa compõe-se de dois corpos ligados entre si por uma saleta e uma sala em forma de passadiço, tendo estas, saleta e sala, dez janelas de peitoril com portadas de cantarias de volta perfeita.

O corpo da frente está retirado da rua, é assobradado e tem telhados de platibanda, no centro da fachada, tem um segundo pavimento, sendo esta, no primeiro pavimento, de nove janelas e portas com portadas de cantaria de volta perfeita e, no segundo, de três janelas de sacadas e também com portadas de cantaria de volta perfeita; este corpo tem oito janelas de peitoril com portadas de cantaria de verga direita, de cada lado, tendo outras janelas e portas nos fundos do primeiros e segundo pavimentos.

O corpo dos fundos é levantado em sobrado, e tanto este como o da frente, são construídos de pedra e cal e dividido em salas, quartos, corredores e outras acomodações. Os tetos são de estuque e forros de pinhos. Independente dos dois corpos da casa existe telheiros, banheiros e galinheiro. (...) O terreno consta de jardim, horta e pomar, grande parreiral sobre vergalhões de barrões de ferro, vasos, figuras, bancos de jardim etc.