El nom d'Escornalbou deriva del llatí cornus bovis, que significa "el corn del bou". La mansió senyorial que veiem avui dia és el resultat de la unió d'un monestir i un castell. El castell va ser construït sobre les restes d'una fortalesa romana, mentre que el convent data del segle XII, el qual fou ocupat pels franciscans col·lectes al segle XVI. Durant la Guerra del Francès el monestir fou objecte d'un saqueig, i el 1835, durant la desamortització de Mendizábal, els franciscans hagueren d'abandonar definitivament Escornalbou.

Posteriorment el complex va ser ocupat alternativament per les forces liberals i les carlines, fins que el vicecònsol d'Anglaterra a Tarragona l'adquirí i convertí l'església en corral i el castell com a casa del pastor.

Finalment, Eduard Toda el comprà l'any 1910 i va iniciar la seva reconstrucció que culminà l'any 1924. Dos anys més tard el va vendre al Bisbat de Tarragona, el qual, al seu torn, el vengué a la família Llopis de Reus. Actualment l'edifici és propietat de la Generalitat de Catalunya.