Josef Němec se narodil 25. září 1933 v Českých Budějovicích. S boxem začal po vzoru otce a dvou starších bratrů v patnácti letech, v místním Slavoji hrál i fotbal a lední hokej. Jako přeborník Čech byl vybrán do reprezentace a povolán na základní vojenskou službu do ÚDA Praha, kde jej trénoval olympijský vítěz Július Torma. Vedle boxu pracoval Němec jako řidič stavebního podniku, po ukončení kariéry se věnoval výchově mladých českobudějovických boxerů.
Ze tří startů na olympijských hrách se Josefu Němcovi nejvíc vydařil ten prostřední v Římě 1960, kde po volném losu utancoval Brita Thomase a Američana Priceho a až v semifinále i kvůli výměně roztrhlé rukavice těsně prohrál na body s miláčkem publika a pozdějším vítězem De Piccolim. V Melbourne i Tokiu balil devítinásobný mistr republiky kufry hned po prvním utkání.
Největšího úspěchu dosáhl v roce 1963, kdy se v Moskvě stal po finálové výhře nad domácím favoritem Abramovem mistrem Evropy. V letech 1957 a 1959 vybojoval kontinentální bronz.
Během své sportovní kariéry absolvoval 320 zápasů, z toho 308 vyhrál. Zemřel 10. září 2013 v Českých Budějovicích, kde je po něm pojmenována ulice. V roce 2000 byl Evropskou amatérskou asociací oceněn medailí za mimořádné zásluhy.
