Brzezie było od końca XIII wieku gniazdem rodowym Zadorów - Lanckorońskich. Ich dwór znajdował się na terenie przylegającym od wschodu do obecnego kościoła parafialnego i nosi do dziś nazwę "Dwór".
Ród Lanckorońskich z Brzezia od XV wieku stał się rodem magnackim. Wzmianki mówią o istnieniu w Brzeziu w tym okresie zamku jako siedziby rodu. Z czasem główną siedzibą Lanckorońskich stała się Jagielnica na terenie obecnej Ukrainy. W Brzeziu istniał jednak dwór i wraz z nabyciem klucza brzezkiego przez Żeleńskich był siedzibą tzw. młodszej linii Żeleńskich. Kiedy linia ta wymarła od roku 1832 Brzezie stało się własnością Żeleńskich z Grodkowic. W Brzeziu podobnie jak w Dąbrowie i Szarowie zorganizowano folwarki dworu grodkowickiego. Zabudowania folwarczne obejmowały min. oborę dla bydła, owczarnię, stajnie końskie, stodoły, kuźnię, mleczarnię, gorzelnię, piekarnię i młyn.
Do obecnych lat przetrwał budynek rządcy, fragmenty stajni końskiej oraz duża obora dla bydła z roku 1863, obecnie zmodernizowana na cele firmy "Parkanex"

     W bliżej nieokreślonym czasie usypany został kopiec stojący przy drodze do Grodkowic. Według hipotez może to być kopiec - grób członków rodziny Żeleńskich wyznawców kalwinizmu.

    Naprzeciw zabudowań dawnego dworu stoi budynek Szkoły Ludowej wybudowany w roku 1895 na placu odstąpionym przez Żeleńskich. Służył on młodzieży Brzezia i okolicy do lat 70-tych XX wieku. Obecnie nieco przebudowany i zmodernizowany mieści Wiejski Dom Kultury, pocztę i aptekę. Przed budynkiem szkoły postawiono w 1931 roku obelisk pomnik Jóżefa Piłsudskiego. Po II Wojnie Światowej został stopniowo rozebrany. W roku 1990 odbudowano go ze składek społeczeństwa.

Pominik Józefa Piłsudskiego

    W centralnej części wsi przetrwał zespół kilku drewnianych domów i zabudowań gospodarczych z końca XiX i początku XX wieku. Te nieliczne juz budynki mieszkalne, stodoły, obory oraz obiekty małej architektury jak studnie czy piwniczki ziemne stanowią zanikający juz w wyniku zmian gospodarczych element wiejskiego pejzażu tym bardziej wart utrwalenia im więcej zmian przynosi kazdy rok i im szybciej zanika wieś.