Józef Klemczak urodził się 16 marca 1876 roku w Wilkowie w powiecie leszczyńskim, w rodzinie oficjalisty dworskiego Antoniego Klemczaka i Michaliny z Latuszewskich. Nie posiadamy danych na temat edukacji Józefa Klemczaka, z wyjątkiem informacji o ukończeniu przez niego szkoły powszechnej w Wilkowie. Przez kilka lat przyszły burmistrz Krotoszyna pracował w kancelariach adwokackich w Lesznie i Kluczborku, a w 1896 roku przeniósł się do Krotoszyna, gdzie podjął pracę sekretarza kancelarii adwokackiej mecenasa Marcelego Langiewicza.

Józef Klemczak uczestniczył w życiu społecznym miasta i pełnił wiele funkcji społecznych i honorowych. Był między innymi prezesem Rady Nadzorczej Banku Kupieckiego w Krotoszynie oraz Rady Nadzorczej Fabryki Wyrobów Woskowych, przewodniczącym Zarządu miejscowej Kasy Chorych i Naczelnikiem Zarządu Komunalnej Kasy Oszczędności Miasta Krotoszyna.

Szczególną aktywność przyszły burmistrz rozwinął w miejscowym Towarzystwie Gimnastycznym „Sokół”, którego był wieloletnim prezesem (do 1919 r.oku. Organizował rocznicowe uroczystości patriotyczne, między innymi obchody 50 rocznicy wybuchu powstania styczniowego w roku 1913 oraz zlot Sokołów w Miłosławiu. Obok Władysława Bolewskiego był jednym z głównych organizatorów strajku szkolnego w Krotoszynie w 1906 roku. Za działalność patriotyczną został trzykrotnie ukarany przez władze pruskie grzywną. W okresie powstania wielkopolskiego, w latach 1918/1919, uczestniczył w pracach Rady Robotniczo – Żołnierskiej i Powiatowej Rady Ludowej w Krotoszynie, wchodząc w skład Wydziału Wykonawczego Rady.

6 stycznia 1919 roku został wybrany pierwszym polskim burmistrzem Krotoszyna. W okresie jego urzędowania wybudowano w mieście między innymi elektrownię (1928), wzniesiono pomnik Wolności (1925), odrestaurowano wieżę ratuszową (1925), poszerzono ulicę Floriańską, założono promenadę dworcową, przebudowano dawne koszary na mieszkania dla ubogiej ludności oraz naprawiono wiele dróg i chodników. W 1922 roku, przy pomocy ks. proboszcza Kazimierza Stankowskiego, Józef Klemczak założył wzorcowe schronisko dla niemowląt.

W okresie sprawowania funkcji burmistrza nie zaniechał działalności społecznej. Był między innymi innymi delegatem sejmiku powiatowego do sejmiku wojewódzkiego, zastępcą przewodniczącego Koła Miast Województwa Poznańskiego a od roku 1922 sprawował również funkcję zastępcy przewodniczącego Wydziału Powiatowego w Krotoszynie. Był także Naczelnikiem Zarządu Komunalnej Kasy Oszczędności Miasta Krotoszyna. W 1929 roku, wraz z grupą działaczy „Sokoła”, założył w Krotoszynie klub sportowy „ASTRA”, pełniąc jednocześnie przez pewien czas funkcję jego prezesa.

Józef Klemczak poślubił Kazimierę Helenę z Robińskich, z którą miał troje dzieci: Zdzisława Kazimierza (urodzonego w roku 1902 i zamęczonego w obozie koncentracyjnym Mauthausen 30 kwietnia 1945 roku), Bolesławę (urodzoną w 1905 roku) oraz Adama (urodzonego w 1910 roku). Zmarł w wieku 54 lat – 20 października 1930 roku w Krotoszynie, został pochowany przy głównej alei miejscowego cmentarza parafialnego.