Primul corp principal este probabil construit în 1788, așa cum indică data înscrisă pe clipul ușii de intrare. Din 1832 prezintă diverse clădiri la vest, precum și o grădină și o piscină, în posesia lui Louis Ollière în Blaye. Un al doilea set, la est, a fost ținut la acea vreme de Antoine Bellout (sau Bellou).

Moșia "Gaillet", formată din "casa stăpânului și pentru fermierul, chai cuvier, curtea, grădina, vița de vie, teren și pajiște, apare în succesiunea lui Louis Ollière, comerciant în Blaye, după moartea sa în 1833. Probabil că a fost următoarea donație făcută în 1843 de văduva sa Marie Bonnaud în numele fiicei lor Marie Aurélie Ollière, descrisă la acea vreme ca fiind "veuve David", că proprietatea a intrat pe proprietatea familiei David.

Émile David este cunoscut ca proprietarul unui first burghez în Gayet în anii 1870 și 1890. Turnul care se învecinează cu al doilea corp de locuit a fost probabil construit între sfârșitul secolului al XIX-lea și începutul secolului al XX-lea, în timpul unei remanieri generale, deoarece a apărut doar în ediția din 1922 a Bordeaux și în vinurile sale, prima mențiune a Château la Tour-Gayet, în numele lui Louis. El a rămas în posesia acestei familii până la mijlocul secolului al XX-lea.