Urkundlich wurde das Haus erstmals im Jahre 1462 als Brauerei und Tafernwirtschaft erwähnt.
Im Jahr 1580 entstand die bemalte Balkendecke in der Hotelhalle. Die naturalistischen Pflanzenornamente stammen aus der Zeit der Gotik.
Dieses Original, ein wertvolles geschichtliches Denkmal, wurde erst 1951 wiederentdeckt und freigelegt.
Noch älter ist vermutlich die mit Stierblut bestrichene Eichenholzdecke in der Agnes-Bernauer-Stube. Im selben Raum kann man eine Stadtansicht des Kunstprofessors Nagler bewundern. Gemalt 1953 nach dem gotischen Holzmodell des Straubinger Drechslermeister Jakob Sandtner, stellt es die Südseite des Stadtplatzes dar.
An der Hausfassade wurde 1959 vom Münchner Künstler Max Lacher ein Erker mit Agnes-Bernauer-Motiven gestaltet.