Приватниот живот на Милева и Ајнштајн бил далеку од убав. Како и повеќето научници, Алберт бил внесен во науката, а освен тоа, не бил ниту добар сопруг, ниту добар татко. Тоа одело до таму што тој ги криел семејството и детето од јавноста.
Алберт и Милева во 1902 го добиле своето вонбрачно дете, но за тоа не смеело никој да знае и Милева морала да се крие со детето во Србија. Алберт никогаш не ја видел ќерка му. Се шпекулира дека девојчето починало од шарлах, откако Алберт и Милева ја оставиле сама во Србија и заминале во Берн.
Неговото помало дете Едвард се родило со шизофренија, а научникот за него велел дека тој не е сосема човек.
Што се однесува на неговиот однос кон Милева, која му помагала цело време, му била поддрша и се грижела за нивните две деца, може да се каже дека бил безобразен, бездушен и неправеден. Па така, кога ја добил Нобеловата награда, сосема ја исклучил Милева од нејзиното учество во трудот, иако таа подеднакво учествувала во него, па можеме да кажеме дека половина од наградата и припаѓа на Милена. Таа била талентирана физичарка и одлична мајка и секако, многу подобар човек од Алберт.
По многубројните скандали, неверства и расправии, Милена и Алберт се развеле во 1919 година, а таа останала да живее со децата во Цирих во многу скромни услови и на раб на сиромаштија. Алберт не и помагал во ниту една смисла.
Истата година кога се развел од Милева, тој се оженил со Елза Ловентал , со која бил во брак до 1936 година.
Милева Ајнштајн умрела во 1948 година, а нејзиниот живот ќе биде дефиниран како мрачна сенка на суетниот и себичен сопруг.