Das Jagdschloß ist auf einer Lichtung im Tharandter Wald gelegen und eines der letzten erhaltenen Gebäudeteile der ehemals weitläufigen Jagdhausanlage "Grüllenburgk", die von 1554 bis 1558 auf Befehl von Kurfürst August errichtet wurde. Dieser Jagdsitz sollte nach seinen Vorstellungen dazu beitragen, ihm seine "Grillen", also Kummer und Sorgen zu vertreiben.
Zugleich war hier auch der Verwaltungssitz des Amtes und der Justiz von Grillenburg-Tharandt sowie die Arbeitsstelle des Forstmeisters untergebracht. Nach dem Abriß des Hauptgebäudes, aus desen Material das heutige Waldhotel "Zur Grille" entstand, wurde ds Verwaltungsgebäude, die Schösserei, 1855 im Biedermeierstiel zu einem Jagdhaus der sächsischen Könige umgebaut. 1936 erfolgt der Umbau zum "Sächsischen Jägerhof". Seit 1966 wird das Gebäude von der "Forst- und Jagdkundlichen Lehrschau" der Forstwirtschaftlichen Fakultät der Technischen Universität Dresden genutzt.
Die romantische Ansicht des Jagdhauses Grillenburg wird seit 1730 durch die über den Gondelteich führende, warscheinlich nach Plänen von Matthäus Daniel Pöppelmann, erbaute Sandsteinbrücke geprägt.
Nach Grillenburg führen gutausgebaute Wanderwege. Wer nicht so gut zu Fuß ist kann sich hier auch ein Pferd oder eine Kutschfahrt mieten. Neben dem Gondelteich (im Sommer wird auch Nachtgondeln angeboten) seht den Gästen auch ein kleiner Badteich zur Verfügung.