Die ersten Bewohner, die sich hier im Mittelalter ansiedelten, waren Holzarbeiter. Sie „trifteten” die geschlagenen Stämme über den Bach ins Tal. In der Nähe des Wasserfalls errichteten sie eine Hütte für ihre anstrengende Arbeit am Berg.

Im Samerbuch heißt es 1543: „Georg Schmidt, ain Heisl in der Wasserfalln. Das Heisl ist nicht mit Wissen des Kastners aufgesetzt”. Somit ist der Duftbräu der erste nachweisbare Schwarzbau auf dem Samerberg! Gebaut wurde das „Heisl” aus dem in der Nähe gewonnenen „Duftstoa” (Tuffstein).

Diesem Material und der Tatsache, dass hier am Ende des 19. Jahrhunderts über 30 Jahre lang Bier gebraut wurde, verdankt das Anwesen seinen Namen. Es war damit eine der höchst gelegenen Brauereien Deutschlands! 1908 wurde das Haus durch einen Brand zerstört.

Die Eheleute Matthäus und Anna Wallner kauften die Brandstätte und errichteten hier das Gasthaus. Die anmutige Duftbräu-Kapelle neben dem Wirtshaus wurde ebenfalls von ihnen erbaut. Ihr Sohn, Matthäus Wallner, führte das Haus mit seiner Frau Anna weiter. Bis zum Jahr 1997 leitete ihr Sohn Matthäus die Gaststätte. Seine Frau Maria Wallner ist bis heute die „gute Seele” des Duftbräu, ihr Sohn Markus Wallner hat den Betrieb im Jahre 2001 übernommen.