Родилась в многодетной дворянской семье. Детство и юность провела в Екатеринославе. По материнской линии принадлежала к роду князей Долгоруковых, её родителями были Андрей Михайлович Фадеев (1789—1867), тайный советник, губернатор Саратова, и княжна Елена Павловна Долгорукая (в девичестве). Родная сестра Елены, Екатерина, была замужем за Юлием Федоровичем Витте (1814—1867), от брака с которым родился будущий российский государственный деятель, министр финансов России Сергей Юльевич Витте (1849—1915).

Елена Ган приходилась двоюродной сестрой поэтессе Евдокии Ростопчиной и мемуаристке Екатерине Сушковой, приятельнице Лермонтова, с которым Ган общалась в её доме. «Его я знаю лично… Умная голова! Поэт, красноречив», — писала она родным (см. Лермонтовскую энциклопедию). Её родственником по матери был известный поэт того времениИван Михайлович Долгоруков, внук автора «Своеручных записок» Натальи Долгорукой и первый их издатель, а также поэтФ. И. Тютчев.

Замуж Елена вышла в 16-летнем возрасте за капитана Петра Алексеевича Гана (Peter von Hahn; 1798—1873), человека военного, почти вдвое старше её, происходившего из немецкого рода, переселившегося в Россию в середине 18-го века.

В 1831 году у Ганов родилась первая дочь Елена (Елена Блаватская), а в 1835 — вторая дочь Вера — будущая писательница Желиховская. Елена Ган вместе с маленькими детьми и мужем все это время путешествовала по Украине, побывала в Курске и в Туле. Весной 1836 года семья прибыла в Петербург, где проживет по май 1837 года, здесь Елена Ган увидела на выставке Пушкина, о чём написала родным: «Я узнала — Пушкина! Я воображала его чёрным брюнетом, а его волосы не темнее моих, длинные, взъерошенные… Маленький ростом, с заросшим лицом, он был не красив, если бы не глаза. Глаза блестят, как угли, и в беспрерывном движении. Я, разумеется, забыла картины, чтобы смотреть на него. И он, кажется, это заметил: несколько раз, взглядывая на меня, улыбался… Видно, на лице моем изображались мои восторженные чувства». Известно, что Пушкин во время южной ссылки бывал в кишиневском и одесском домах Фадеева.