A Ferenczy család legendás művészdinasztia, Károly a nagybányai festőiskola vezéregyénisége, Fialka Olgával közös gyermekei pedig szintén ismert alkotók lettek: Valér festő, ikergyermekeik, Béni és Noémi szobrász, illetve és gobelinművész. Talán kevésbé ismert tény, hogy Olga ugyancsak kiváló festőművész volt és Károly sokat köszönhetett neki, nemcsak a magánéletben, de a munkában is: a nála tizennégy évvel idősebb nő korán felismerte férje tehetségét és folyamatosan segítette művészi kibontakozását, saját magát is háttérbe szorítva a kedvéért. Több mint húsz évig éltek együtt, Károly 55 éves korában, Olga tizenhárom évvel később, 82 évesen hunyta le örökre szemét.