Az Őrség falvaiban az építőanyag-váltás az 1800-as évek végén kezdődött. Olasz téglaégető vendégmunkások és stájer iparosok hatására jelentek meg a téglaházak. A pankaszi iskola az Őrség első téglaépületeinek egyike. 1885-ben épült. A pankaszi gyerekek addig Nagyrákosra jártak iskolába. A község 1929-ben új iskolát épített. A református egyház ekkor eladta az épületet, melyben sokáig kocsma működött, majd az 1980-as évek végén a helytörténeti gyűjtemény és a könyvtár kapott helyet.