Quando dona Victória Correa de Sá casou-se com dom Luis de Céspedes Y Xeria, governador colonial do Paraguai, recebeu do pai, Gonçalo Correa de Sá, como parte do dote, entre outros itens, a chamada Fazenda da Vargem, que era uma grande extensão de terras situadas entre Jacarepaguá e Guaratiba, e que incluía as Vargens Grande e Pequena, o Grumari, a Prainha e o Pontal. Depois da morte do marido, como não tinham herdeiros, dona Victória deixou em testamento, no ano de sua morte, em 1667, uma grande extensão de terras para os padres beneditinos, o que incluía a Fazenda da Vargem. Como acontecia em muitas outras áreas de propriedade destes religiosos, aquela também passou a ser arrendada. Em 1797, a Coroa portuguesa solicitou aos padres um inventário, que apontava 25 arrendatários na Fazenda da Vargem.

A partir do século XVIII até o fim da monarquia no Brasil, o local passou a ser chamado Fazenda do Grumari e se dividia em poucos latifúndios de propriedade de Deolinda Maria de Santa Rita, Jacinto Barbosa, João Caldeira de Alvarenga e Francisco Chagas, além de quatro pequenos sítios. Até a implantação do ramal ferroviário de Santa Cruz, que aconteceu em 1879, a proximidade com o mar proporcionava grande prosperidade ao Grumari: naquele trecho do litoral havia embarque e desembarque de mercadorias, que eram comerciadas com o centro urbano do Rio de Janeiro. A partir de então, Santa Cruz passou a ser fonte produtora de alimentos para o restante da cidade. 

Mais tarde, em meados do século XIX, o transporte de café, farinha de mandioca e peixe salgado produzidos na região se alternava com a chegada de sal, tecidos, louças, ferramentas e outros manufaturados para a localidade. Mais distante da costa, havia cultivo de frutas diversas, além do café e da mandioca, e das lavouras de subsistência das famílias do povoado, que, segundo os historiadores, eram animadas e realizavam festas com as danças típicas da época, como o xote e a mazurca, além das mais populares – ciranda e batucada. Numa fase posterior, os plantios foram substituídos por bananais, que passaram a ocupar também as encostas.

Segundo Francisco Alves Siqueira, em 1888 foram inauguradas em Grumari a primeira escola municipal e uma agência de correios. Em 1895, surgia a segunda escola na Fazenda do Grumari Grande, na qual as aulas eram ministradas pela proprietária Mafalda Teixeira de Alvarenga. Na década de 1960, com o movimento migratório para os grandes centros, a região ficou esvaziada. A denominação, a delimitação e a codificação do bairro foram estabelecidas pelo Decreto nº 3.158, de 23 de julho de 1981, com alterações do Decreto nº 5.280, de 23 de agosto de 1985.