Иосиф (Осип) Немцев родился в 1885 году, в крестьянской семье, в селе Грачевка Бузулукского уезда Самарской губернии. Первое настоящее соприкосновение с хоровым искусством произошло в 1900 году на учительских курсах в Камышине (где жила семья Немцевых и где мальчик окончил четырехклассное городское училище); хором на курсах руководил преподаватель из Москвы А. В. Никольский. Через два года Немцев едет в Москву и поступает вольнослушателем в Синодальное училище. Он изучает сольфеджио у А. Кастальского и Н. Данилина, церковное пение у П. Чеснокова, гармонию у В. Калинникова и чтение хоровых партитур у В. Орлова. В 1904 году переезжает в Петербург и в течение нескольких лет завершает музыкальное образование, пройдя полный курс регентского класса Придворной певческой капеллы. Годы, предшествовавшие революции, были отданы педагогической (учитель пения) и регентской работе.
«Октябрьская революция родила меня как бы заново, — вспоминал Немцев. — Я понял, кому и для чего я нужен. Я пошел на площадь, на улицу, на митинг, в рабочие клубы и здесь нашел то, что искал. Я нашел поющий народ, и желание работать с ним стало целью моей жизни». Первые годы революции были отмечены расцветом массового народного пения, сопровождавшего различные общественно-политические мероприятия — собрания, митинги, демонстрации, празднества, — и стихийным рождением хоровых кружков. Для руководства этим процессом и для объединения рабочих кружков в 1919 году при Музыкальном отделе Наркомпроса была создана хоровая секция — коллегия из десяти инструкторов районных клубов во главе с Немцевым.
Значительным событием в истории самодеятельного движения стало создание Немцевым в 1919 году объединенного рабочего хора Петрограда. Первое же выступление хора в количестве семисот человек во Дворце искусств (быв. Зимний дворец) с революционными и народными песнями имело громадный успех. В дальнейшем хор выступал в составе тысячи двухсот — тысячи восьмисот и более человек, принимал участие в концертах под управлением А. Глазунова, А. Коутса, Ф. Штидри звучали произведения Глюка, Моцарта, Бетховена, Шостаковича. Успехи объединенного рабочего хора объяснялись тем, что в 20-х годах музыкальная самодеятельность продолжала активно развиваться и к 1927 году актив хоровой самодеятельности насчитывал уже более четырех тысяч человек.
С 1927 года начинается новый этап в развитии художественной самодеятельности Ленинграда, ознаменовавшийся проведением десяти олимпиад (1927-1936). В это время решались такие важные задачи, как развитие всех видов самодеятельного искусства, вовлечение в самодеятельное движение широких масс трудящихся, повышение грамотности кружковцев, освоение наследия классиков и обращение к произведениям советских композиторов. Достижения ленинградцев во многом связаны с деятельностью И. В. Немцева, организатора, хормейстера, педагога, публициста. Как организатор музыкальной самодеятельности он проявил себя на посту заведующего музыкальным отделом Губполитпросвета (1920—1926) и в культмассовом отделе Облпрофсовета (1926-1939), но особенно в период подготовки и проведения олимпиад.
Специальная комиссия под председательством Немцева выбирала репертуар и намечала программу, вырабатывала общие методические установки и занималась печатанием нот и текстов песен; кроме того, нужно было проверять работу на местах, проводить районные и общегородские репетиции, организовывать предварительные смотры и конкурсы и т.д. Во время олимпиад Немцев как главный дирижер со своими помощниками — хормейстерами и дирижерами — И. Аркадьевым, Н. Рудиным, М. Хмылевым. П, Мостовым, А. Анисимовым, Г. Колышкиным, М. Миккелем, В. Кирияновым, В. Маркузе и др. руководил хором в две-пять тысяч человек, исполнявшим произведения без сопровождения или в сопровождении оркестра. То же происходило в дни праздников на Дворцовой площади.
Как хормейстер Немцев работал с Государственным академическим хором (бывший хор А. А. Архангельского) в 1919—1935 годах, в Театре юного зрителя, с хором Дома культуры ВЦСПС имени Горького (1933-1939) и добился с этим коллективом отличных результатов; как педагог готовил молодую смену в Институте внешкольного образования (1918-1921), в Ленинградской консерватории (1925-1939), в Центральном музыкальном техникуме. Опыт ленинградских профсоюзов использовали другие города, в результате в августе 1932 года в Москве была проведена 1-я Всесоюзная олимпиада самодеятельного искусства. Сразу после олимпиады члену оргкомитета, консультанту по музыкальной работе и главному дирижеру И. В. Немцеву было присвоено звание заслуженного артиста РСФСР. Иосиф Немцев ушел из жизни в 1939 году.
