A beleza da paisagem da praia de Botafogo, com a vista do morro do Pão de Açúcar, demorou a ser desfrutada pelos novos moradores do Rio de Janeiro. Os tamoios, que viviam por ali antes da invasão portuguesa, chamavam a região de itaóca, palavra tupi que significa casa de pedra. No início da colonização, o que hoje se conhece como o bairro de Botafogo era uma área remota e alagadiça, pouco habitada ou mesmo frequentada pelos que vinham se estabelecer no Rio de Janeiro.
No final do século XVI, era apenas uma área de passagem entre o centro da cidade, mais habitado, a região da Lagoa Rodrigo de Freitas, onde havia o Engenho Del Rei, e a orla marítima. O nome do bairro surgiu nessa época, após Antônio Francisco Velho vender, em 1590, para seu amigo João Pereira de Souza Botafogo (1540?-1605), as terras que recebera, ainda em 1565, de Estácio de Sá (1542-1567), o fundador da cidade do Rio de Janeiro.
No século seguinte, foi a vez de o padre Clemente Martins de Matos (1628-1702) se tornar o dono do bairro, adquirindo as terras que iam da praia até a Lagoa e dos morros de São João ao Dona Marta, nome dado em homenagem à sua mãe. Clemente estabeleceu ali a Fazenda de São Clemente ou do Vigário-Geral, cargo que ocupava então.
Sua fazenda foi desmembrada no século XVII em diversas outras menores e o caminho que era utilizado nessas terras, a passagem de São Clemente, tornou-se então uma via pública, a rua que até hoje leva esse nome. Na pintura acima, do alemão Carl Robert Edler von Planitz (1806-1847), de 1840, é possível ver as chácaras e a passagem mencionada.
É somente no início do século XIX, que começa lentamente a urbanização do bairro, com a chegada da corte portuguesa em 1808. A princesa Carlota Joaquina escolheu um terreno em Botafogo, na esquina da praia com o então chamado Caminho Novo (hoje rua Marquês de Abrantes) para construir sua mansão. Com isso, o bairro se valorizou e passou a ser procurado pelos nobres e comerciantes, sobretudo os ingleses, que passaram a construir ali residências luxuosas. A distância e dificuldade de acesso tornavam o bairro um reduto de ricos, que tinham suas próprias carruagens e podiam desfrutar da vida doméstica longe do burburinho do centro. A residência oficial dos diplomatas ingleses, em 1833, também ficava no Caminho Novo de Botafogo, como se pode ver no desenho acima, da artista inglesa Marguerite Tollemache (1818-1896).
Na década de 1840, com a implantação dos serviços de transporte coletivo, como barcas e bondes puxados por animais, a população de Botafogo começou a crescer e a se diversificar e o bairro, a perder sua característica de elite. "Os primeiros estabelecimentos comerciais surgem próximos à estação das barcas, na rua São Clemente. Com a chegada do bonde, o comércio acompanha o seu percurso, aparecendo nas ruas por onde passavam os trilhos. Assim, as principais atividades comerciais se instalam nos eixos de passagem, em especial as ruas Voluntários da Pátria, São Clemente, Real Grandeza, General Polidoro e Passagem. (...) O dinamismo vivido por Botafogo, em especial pelo transporte regular, irá atrair uma população não-aristocrática para o bairro, que se ocupará da atividade comercial, sendo esta exercida, principalmente, pelas classes sociais mais pobres, pois a própria essência da cidade requer a mistura de classes", escreveu a pesquisadora Julia Vilela Caminha, em seu artigo "Botafogo e a sua evolução urbana: um retrospecto" (Encontro de Geógrafos da América Latina, Peru: 2013).
No final do século XIX, o bairro de Botafogo já estava bastante urbanizado, com uma mistura de moradores de todas as classes sociais, ocupações e origens, com vendas e bares de portugueses e moradias coletivas como retratado no romance naturalista O Cortiço, de Aluísio de Azevedo (1857-1913), publicado em 1890.