Elingaard brant i 1645, og brant igjen i 101 år senere, i 1746. Hvordan Jens Bjelkes Nybygde Elingaard etter 1645-brannen så ut vites ikke, med unntak av de prektige kjellerrommene. Disse er omtalt som «de prektigste gårdskjellere i landet». De hvelvede murene hviler på en flåte av tre, noe som ble avdekket under en arkeologisk utgravning i 1998. Denne utgravningen bragte for dagen rester av Brockenhuusenes gamle gård. Rester av bygninger, husgeråd, kjøkkenavfall, mynter, gjenstander av jern og edelt metall ble hentet opp fra grunnen.
Da Elingaard brant i 1746 var det Henrik Jørgen Huitfeldt og Birgithe Christine Kaas som satt som eiere av herregården. Begge var oldebarn av Jens Bjelke. I 1749 kunne familien flytte inn i et nytt og prektig hus. Tradisjonen forteller at Henrik Jørgen Huitfeldt ønsket at hans nye hjem skulle fortone seg som et slott, og det gjorde det nye Elingaard!
Hovedfløyen ble noe utvidet i forhold til de gamle kjellere og to sidefløyer kom til, alle under et felles tak. Sidefløyene hadde åpne svalganger i begge etasjer, men svalen i 2. etasje ble bygget inn på begynnelsen av 1800-tallet. Opprinnelig var bygningen rødmalt. I Jens Bjelkes tid lå alle husene på gården innenfor vollene. Nå ble uthusene flyttet fra borgplatået til området rett nord. Her ligger de fremdeles, selv om lokaliseringen er noe endret.
Elingaard karakteriseres som vårt mest interessante helstøpte arkitekturanlegg fra renessansen. Borgplatået med bastioner og vollgraver er enestående i landet og ble fredet i 1923, samtidig med hovedbygningen. Det hevdes at borganlegget ble bygget av Jens Bjelke, men det kan like gjerne være hans etterfølger på Elingaard, sønnen Henrik, som anla eller fullførte denne særpregede skanse, bygget etter det flate, hollandske festningssystem. Forskere hevder at det storslåtte anlegget kun ble bygget til pryd og setter spørsmålstegn ved dets forsvarsmessige betydning. Fremdeles ligger anlegget temmelig uutforsket.
Borgplatået har form som en uregelmessig firkant med bastioner i de fire hjørnene. Platået er nesten 100 meter langt og 70 meter bredt. Vollgravene har en samlet lengde på over 500 meter. På det bredeste er gravene ca 15 meter og et par meter dype. Adkomsten til gården har trolig vært via en vindelbro.