Vitray első felesége Vasvári Terézia volt, kapcsolatukból két gyermek született. Másodjára Földi Teri színésznővel házasodott össze, harmadszorra pedig Kállay Bori színésznővel. A vele való házasságnak 2019-ben vetett véget.
Kállayval 32 évig éltek együtt, a házasság felbontása után Vitray úgy nyilatkozott, hogy „általában nem szokott 87 évesen válni, de a sors így rendelte”.
Válása után azt bizonygatta a sajtóban, hogy nem akar újra nősülni. Akkor az érveit egy sporthasonlattal indokolta. „Egykori sportriporterként jól tudom, hogy legalább hat atlétikai versenyszámban a versenyzőknek ugyanazon a magasságon három kísérletük lehet. Ha mindháromszor leverik a lécet, nem mehetnek tovább. Nekem sincs több kísérletem” – mondta Vitray.
Tavaly novemberben azonban kiderült, hogy a legendás tévés egy párt alkot az egyik volt kolléganőjével, és hogy már egy ideje távkapcsolatban élnek egymással.
