Из семьи вольноотпущенного крестьянина подмосковного села Середниково Гавриила Захаровича Прыжова, служившего писарем в Мариинской больнице для нищих в Москве, ветерана Отечественной войны 1812, участника Бородинского сражения, получившего орден Святого Владимира, давший право на получение потомственного дворянства. Иван Прыжов был старшим сыном из 4-х детей Гавриила Захаровича, и получил образование в 1-й Московской гимназии (1848) и Московском университетена медицинском факультете (1848- 30 октября 1850 года, не окончил).

С 18 января 1852 года работал экзекутором и регистратором в Московской гражданской палате; при закрытии палаты в 1867 году остался «за штатом» и поступил в контору частной железной дороги. С 1868 года смотритель работ на железной дороге Витебск — Орёл — Харьков — Киев. В томе же году знакомится с П. Г. Успенским, будущим нечаевцем.