De eerste vermelding van een ‘eenvoudig landhuis in de nabijheid van De Vliet’ is in 1367. Toen nog Almansgeest genaamd naar de eigenaar IJsbrand Almansz. Daarna volgden vele bewoners. De bekendste was Johan de Witt. Hij verkocht het landgoed in 1662 aan Allart Poelaert. Zijn zoon Jan liet het huidige huis bouwen. In 1688 erfde Pieter de la Court van der Voort het buitenverblijf. Pieter was een Leidse lakenkoopman en een autoriteit op het gebied van tuinieren. Zo kweekte hij als eerste in Nederland een ananas. Hij liet op het landgoed een oranjerie en een mur à retrancements bouwen, een zeldzaam soort slangenmuur.

Het park met vijver werd rond 1820 aangelegd. In 1827 werd het huis bewoond door jonkheer Goldberg. Hij was bestuurder van de kolonie Berbice (nu Guyana) en gaf het huis de huidige naam. Het koetshuis met koetsierswoning en paardenstal dateert uit 1858. De portierswoning, uitgevoerd in ‘chaletstijl’, werd in 1893 gebouwd. Berbice kwam in 1937 in het bezit van de familie Begeer (van de Zilverfabriek Van Kempen en Begeer). De laatste bewoonster, mevrouw R.J.M. Begeer, is begin 2009 overleden en begraven aan het einde van de door haar ontworpen rozentuin. Een zeer strategische plaats, omdat het grafrecht de aanleg van de door haar zo verfoeide Rijnlandroute op deze plek verhindert.