Умер в 1880 г. Похоронен на кладбище Новодевичьего монастыря
Жена – Мария Михайловна Милютина
Дети: Михаил, Алексей, Николай, Елена и Вера
Дети Харузиных не пошли по купеческой стезе, получили хорошее образование и стали учеными:
Харузин Михаил Николаевич (1860-1888), этнограф, юрист
Харузин Алексей Николаевич (1864-1932), государственный деятель, губернатор Бессарабии, сенатор, товарищ (заместитель) министра внутренних дел и одновременно - антрополог, географ, ботаник, специалист по южным славянам, умер в советской тюрьме.
Харузин Николай Николаевич (1865–1900), этнограф, один из основателей российской этнографии, историк и археолог, последователь эволюционной школы; исследования посвящены обычному праву, религиозным представлениям, истории жилища, особенностям семейных и родовых отношений у разных народов; изучал традиционную культуру саамов, хантов, манси, финнов
Харузина Вера Николаевна (1866–1931), учёный–этнограф, мемуарист, первая женщина, ставшая в 1907 году профессором этнографии. Автор книги "Прошлое. Воспоминания детских и отроческих лет" ("Новое литературное обозрение", М., 1999), где содержится описание огромной квартиры, целого флигеля на Большой Ордынке, знакомящее с бытом богатой образованной купеческой семьи.
Семья Харузиных в 1868-1876 годы жили в Замоскворечье. Они снимали левый (северный) флигель в доме № 17 на Большой Ордынке. 1876 году Харузин купил собственный дом на Собачьей площадке, и вся семья переехала из Замоскворечья.
