Sinds 1971 heeft het pand Schoutenburg de status van Rijksmonument.
Het bouwjaar van Schoutenburg is niet helemaal te achterhalen, maar het pand dateert tussen 1617 en 1640. Volgens een tekening in het Leidse Stedelijk Archief woonde er in 1642 een schout Willem
Het is gebouwd als bakkerij. En eeuwenlang ook als bakkerij gebruikt.

In de periode dat de kadastrale kaart wordt gemaakt is het pand in het bezit van Dirk Buytendijk, metselaar te Oegstgeest, die het in 1814 had aangekocht.
Pas dan komt er aan het gebruik als bakkerij een einde.

In de periode 1853- 1895 is het pand in het bezit van burgemeester H.D.Terwee.
Waarschijnlijk wordt het pand op zijn initiatief verbouwd.
Het achterste deel van het pand wordt voorzien van natuurstenen schouwmantels.
De eerste bouwaanvraag werd gedaan in 1906.
Vanaf 1921 wordt Dr. J.J. de Gelder eigenaar van het pand.
Het huis zag er uit als een verwaarloosd oud huis. Maar deze nieuwe eigenaar heeft het pand ingrijpend hersteld en veranderd.
Ook werd er een tuinhuisje met rietbedekking in de tuin gebouwd.

Van 1973- 2018 waren professor Henk Wesseling en zijn vrouw Marijke Teppema eigenaar van Schoutenburg.

In 2022 is het pand gesplitst in twee woningen door de huidige eigenaren, Robert Lever, Sheila Roest, Sophie Lever en Jurre Schötelndreier. Zij hebben het pand grondig aangepakt en gerenoveerd volgens de huidige normen.