Até 1930, a área onde hoje está instalada a Embrapa Pecuária Sudeste foi uma fazenda de café, implantada no século XIX. A atual sede da administração era a "casa grande", construída antes de 1880.
 
Com a crise mundial de 1929, a economia cafeeira entrou em forte declínio e, em 1935, a fazenda foi repassada para o Ministério da Agricultura. Neste mesmo ano o pesquisador e médico veterinário Antonio Teixeira Vianna chegou à fazenda para implantar uma estação experimental, iniciando os primeiros trabalhos de pesquisa.
 
O local passou a se chamar Fazenda de Criação de São Carlos, mais conhecida como Fazenda Canchim, nome de uma árvore da região e também o nome dado à raça bovina aqui desenvolvida por Vianna, a partir da década de 1940.
 
Em 1974, foi implantada em nível nacional a Embrapa, que incorporou as estações experimentais que então pertenciam ao Ministério da Agricultura, além de terem sido criados novos centros de pesquisa pelo país. Nesse processo, a Embrapa incorporou a unidade de São Carlos em 1975.
Durante essas três primeiras décadas, a Embrapa Pecuária Sudeste passou por várias transformações para atender às diferentes necessidades da pecuária e da sociedade brasileira.
 
Naquele primeiro momento a ênfase da pesquisa era no aumento da produção e da produtividade, necessário para a substituição de importações de carne, leite e outros alimentos.
 
Como berço da raça Canchim, este Centro trabalhou, durante os seus primeiros anos de existência, principalmente na manutenção e seleção dessa raça, além de realizar pesquisas com equinos.
 
A Embrapa Pecuária Sudeste diversificou gradativamente seus trabalhos, e atualmente tem pesquisas que abrangem: biotecnologia animal e vegetal, aspectos ambientais da pecuária, agricultura de precisão, nutrição e saúde animal com enfoque em produtos ainda chamados de alternativos, como os fitoterápicos para uso em animais. São tecnologias, produtos e serviços preocupados em atender o tripé ambiental, econômico e social.