Ženou života Oldřicha Kaisera byla roky Naďa Konvalinková, se kterou má dceru Karolínu. Manželství vydrželo krásných pětadvacet let! Herec měl ale problémy s pitím.
Alkoholové excesy se vystupňovaly natolik, že nakonec Konvalinková Kaisera opustila, i když ho hluboce milovala. Zůstali však dobrými přáteli. Po rozchodu se ale herec doslova utrhl ze řetězu a několik let se ponořil do své závislosti. K ženám se příliš neměl, ačkoliv byl spojován s Blankou Wernischovou, nikdy vztah veřejně nepřiznal, přitom se s milenkou scházel více než pět let!
V roce 2012 se ovšem stala zásadní věc, Kaiser totiž potkal spřízněnou duši! Umělkyně Dáša Vokatá, která je vdovou po Ivanu Martinu Jirousovi, otočila Kaiserovi doslova celý život naruby!