Uma visita à Casa de Rui Barbosa nos faz recuar no tempo, a meados do século 19, quando começa a sua história. Ela é, provavelmente, a mais antiga construção remanescente da primeira ocupação do bairro de Botafogo.

O terreno fazia parte da fazenda do padre Clemente Martins - que deu origem ao nome da rua onde fica localizada, a São Clemente. O morro próximo, Santa Marta, recebeu o nome da mãe do padre.

Bernardo Casimiro de Freitas, Barão da Lagoa, comprou o terreno e construiu a casa, terminando-a no ano de 1850, como indica a data gravada na fachada.

Mais tarde, o comerciante português Albino de Oliveira Guimarães adquiriu o imóvel e, anos depois, vendeu-o ao inglês John Roscoe Allen. Este, por sua vez, a vendeu a Rui Barbosa em 1893. A família de Rui só o ocupou dois anos depois, ao voltar da Inglaterra, onde se exilara por motivos políticos.

A chegada de Rui Barbosa
Na ocasião, Rui tinha 46 anos. Estava casado há 19 com D. Maria Augusta e tinha cinco filhos, dos quais Maria Luiza Vitória, a caçula, nascera em Londres. Em homenagem à sua mulher, Rui batizou de "Vila Maria Augusta" a casa da Rua São Clemente 104 (hoje 134) e nela viveu até morrer, em 1923, aos 73 anos de idade.

A casa já contava com água encanada, quente e fria, quando Rui a comprou. Durante os 28 anos em que a família residiu na casa, ela foi recebendo melhorias que denotam também os progressos tecnológicos do período: o sistema de iluminação foi adaptado para utilização de luz elétrica, em substituição ao gás domiciliar - Rui manteve em alguns cômodos os bicos de gás - e possuía telefone.