Els orígens d'aquesta tradició tan lligada a la ciutat de Valls cal cercar-los a les darreries del segle XVIII, estretament vinculada a les expressions populars de l'època, com les danses i els entremesos. No obstant això, l'origen concret dels castells provenen de la "torreta" final que s'aixecava en el Ball de Valencians. Aquest primitiu castell va evolucionar a la ciutat de Valls fins als castells tal i com els coneixem avui dia.

A començament del segle XIX ja es documenta l'existència de dues colles de castellers rivals. Per aquest motiu, Valls s'ha considerat el bressol dels castells. A poc a poc, la força del castell es va anar imposant i va passar a ser el protagonista indiscutible en les festes del Camp de Tarragona i del Penedès durant la segona meitat del segle XIX.

Aquesta va ser l'època d'or dels castells, ja que s'aconsegueixen les fites castelleres més importants conegudes. L'any 1851, els Xiquets de Valls assoliren la primera construcció de nou pisos i durant els quaranta anys següents aconseguiren a la perfecció tota la gamma de castells de vuit, el pilar de vuit amb folre i manilles, el quatre de nou net, el tres de nou net, el tres i el quatre de nou amb folre, el cinc de nou folrat i el dos de vuit net.

Als inicis del segle XX es va viure una relativa decàdència que es perllongà fins a finals dels anys vint, quan la creació de noves colles fora de Valls i la recuperació d'algun castell de vuit per part dels Xiquets vallencs permeteren parlar d'una lleu revifalla. Malgrat això, la Guerra Civil aturà de nou la revifalla castellera.

Durant les dècades dels quaranta i cinquanta els castells iniciaren una nova i lenta reviscolada. L'any 1971 apareixia la Colla Joves Xiquets de Valls que, juntament amb la Colla Vella, començarien una segona època d'or en aconseguir, l'any 1981, descarregar el quatre de nou amb folre la Colla Vella i el cinc de vuit la Colla Joves. Als anys vuitanta s'amplià el nombre de colles que realitzaven castells de nou i, també, les àrees geogràfiques on tradicionalment es feien castells. Durant la dècada posterior s'aconseguiren construccions mai no realitzades, com el dos de nou amb folre i manilles, i els mitjans de comunicació s'han fet ressò de les diades contribuint a la difusió del fenomen casteller.