En 1554 aparece como aldea de Aracena, según consta en documentos. Al parecer fueron vecinos de aquella localidad los que levantaron las primeras casas: "por estas fechas desempeñaba las funciones de párroco el célebre humanista, Benito Arias Montano. En el año 1700 deja de pertenecer como aldea de Aracena y contaba entonces con 50 vecinos".

Resulta curiosa la descripción de la villa de Castaño de Robledo que hace el licenciado Juan Simón Zapata Coronel, entonces abogado de los Reales Consejos, entre otros cargos ,y que dirige en septiembre del año 1723, a la Excma. Marquesa de Astorga, Condesa de Altamira: "A una legua de la villa de Alaxar, y tres cortas de Aracena, de donde fue también aldea, y se eximió un año antes poco más o menos que Alaxar, yace la Villa del Castaño del Robledo, entre la aspereza de sus castañares, que es la mayor parte de sus frutos de que se compone, con alguna cosecha de vino de generosa calidad, habitada de 98 vecinos de medianos caudales, y algunas huertas que la hermoseaban". Más adelante indica lo que la villa del Castaño debía pagar por vía de pecho, y en reconocimiento del señorío. No era otra cosa que un canal de puerco cada año, por las Pascuas del Santo Nacimiento, y por la escribanía de la villa unos 150 ducados.

En este año, y según refleja el dato, contaba entonces la villa con 98 vecinos, lo que equivale a cerca de 400 habitantes.

La economía por aquellos años confirma la boyante situación por la que atravesaba la villa de Castaño del Robledo, pues su economía eminentemente agrícola, se componía de numerosas huertas y los cultivos eran abundantes, siendo muy importantes las viñas. Asimismo su ganadería contaba con un amplio número de cabezas de ganado porcino, que se cebaban gracias a las encinas que crecían en el territorio. Castañas y patatas se exportaban a otras localidades de España, y con el dinero recibido, traían de tierras americanas cacao y azúcar, que luego vendían en Extremadura