Våpenskjoldet er preget av hans virke som festningsbygger og arkitekt ved borgene, hans krigsinnsats ved de 7 danske flagg tredd gjennom en kongekrone. Gustav Wilhelm bygget kjernen i det anlegget vi ser i dag, da den gamle gårdsbebyggelsen i tømmer brant i 1682. Bygget han etterlot seg besto av fire fløyer forbundet av fire paviljonger i hvert hjørne.
Grevskapet Gustav Wilhelm kjøpte ble i 1673 hovedsete i grevskapet Griffenfeldt, som bestod av det gamle Tunsberg len og amt, Norges annet (og siste) grevskap. Kong Christian V skjenket samtidig Peder Schumacher Griffenfeldt det tidligere krongodset Sem/Sæheim, som kronen overtok fra kirken i forbindelse med reformasjonen. Stattholder Ulrik Frederik Gyldenløve, overtok grevskapet etter at Griffenfeldt falt i kongens unåde i 1676, han endrer navnet fra Griffenfeldts gård til Jarlsberg, og hensikten synes å ha vært å knytte eiendommen til Slottsfjellet (Berget) og de gamle jarlers borganlegg. Slottsfjellet ligger fortsatt under Jarlsberg.
Gustav Wilhelm sitt oldebarn, Frederik Christian Otto (1718-1776) er den første i familien som er bosatt på Jarlsberg. Han bygger i 1740 årene midtfløyen opp i to etasjer. Han og hans kone Amalie, født Huitfeldt fra Hafslund, startet opp nye byggearbeider i 1760 årene for å bygge midtfløyen opp i tre etasjer. De store byggearbeidene og betydelige investeringer i industri og gruvedrift ved Konnerud i Drammen førte nesten greven til konkurs, og store deler av eiendommen selges.
Johan Caspar Herman (1779-1840) var den som ga bygningen dagens form. Han og arkitekt Løser bygger om Jarlsberg i streng empire i 1812. Herman er den mest berømte av grevene, en betydelig statsmann, som blant annet deltok på Riksforsamlingen på Eidsvoll i 1814, og senere ble både finansminister og stattholder. Han revolusjonerte gårdsdriften på Jarlsberg sammen med Jacob Sverdrup, rev alle gamle driftsbygninger og oppførte et nytt fjøs til 200 dyr. De startet også Nordens første jordbruksskole. I Tomsbakken bygget Herman et brenneri, som årlig produserte nesten 60.000 liter sprit. Grunnideen var å fremme Norges selvforsyningsgrad av mat, han ønsket å utvikle Jarlsberg til ”et mønsterbruk for egnen og hele rikets bønder”.
Adelsloven av 1821 avskaffet adelen og grevskapet. En ny lov i 1842 gjør eiendommen om til stamhus, eller fideikommiss. Dette betyr i praksis at Jarlsberg ikke kan deles eller pantsettes, men skal opprettholdes som en samlet enhet. Utover dette disponerer Stamhusbesitteren eiendommen og avkastningen fritt. Jarlsberg er dermed fortsatt en privat eiendom, men er underlagt spesielle juridiske regler.
Eiendommen blir betydelig redusert på begynnelsen av 1900 tallet, da opphevelsen av husmannsvesenet gir husmannen rett til å innløse husmannsplassen.
Samtidig blir også flere undergårder solgt på grunn av vanskelige økonomiske tider. Allikevel sies det at husmennene hadde det godt på Jarlsberg, og den siste husmannskontrakten blir ikke avsluttet før i 1956.
Dagens ensidige planteproduksjon erstattet et av Norges største fjøs på 1980 tallet. Det ble produsert ca 900.000 liter melk i året, og på det meste var det 355 dyr i fjøset. Fjøset blir i 1989 bygget om til potetlager, men potetproduksjonen blir senere avviklet.
Besitteren til Jarlsberg i dag er Carl Nicolaus Wedel Jarlsberg, den 12. i rekken.
