Od brojne obitelji Giuseppea Fagionija, talijanskog pomorca koji se početkom 19. stoljeća zatekao u Cavtatu, oženio Anu Kličan, domaću djevojku, i trajno se nastanio u našemu kraju, nasljednike je imao samo sin Augustin, Bukovčev otac. Augustin i supruga mu, Marija Perić, imali su osmero djece, no samo je četvero preživjelo djetinjstvo, sinovi Josip (Jozo) i Vlaho te kćeri Ane i Gjorgje. Ane se udala za pomorca Iliju Račića, a Gjorgje za Grgura Lesića na Korčulu. Nakon razvoda Gjorgje je često, s kćeri Lindom i sinom Emanuelom, posjećivala brata Vlaha u Parizu i Zagrebu.
Vlahov i njegov brat Josip (Jozo) Fagioni 1873. godine zaputili su se u Južnu Ameriku gdje su, radeći svakojake poslove, proveli gotovo cijelu godinu. Ipak, za razliku od Vlaha koji se početkom 1874. godine preselio u San Francisco, Jozo se vratio u Cavtat. Bavio se trgovačkim poslovima, ali i aktivno sudjelovao u društvenom životu Cavtata. Godine 1886. Jozo se oženio za Anetu Grgin, rođenu u Trogiru. S njihovo troje djece živjeli su mirnim i skladnim životom sve do početka Prvog svjetskog rata. Njihovo prvorođeno dijete, sin Ago, rođen 1887. godine, početkom Prvog svjetskog rata pristupio je Gruškoj 37. domobranskoj pješačkoj regimenti. U ratu je napredovao do čina natporučnika, o čemu saznajemo iz novina Prava Crvena Hrvatska gdje je u ožujku 1916. godine objavljena vijest o priznanju kojeg je Ago dobio: Previšnje pohvalno priznanje, uz čestitke.
Ago je bio omiljeni mladić među svojim sumještanima, cavtatski župnik bilježi da bijaše mladić dobar i plemenit, okretan i valjan u trgovini, u muzici i zauzimanju za mjesto.
Vlaho Bukovac ovjekovječio ga je na izuzetnom portretu slikanom kraj otvorenog prozora 1899. godine. Dječak kratke kose, lijevom rukom oslonjen na prozorsku klupčicu, u bijeloj rastvorenoj košulji ispod koje proviruje majica na plavo-bijele pruge. Također, na slici Karneval u Epidauru ostat će zabilježen kako svira tamburicu uz svog dunda Vlaha Bukovca, u prednjem planu slike, na lijevoj strani.
Ago je, na veliku žalost svoje obitelji, ali i svih mještana Cavtata, poginuo na bojištu u Italiji, kod Monte Kaberlaba, u lipnju 1916. godine. Njegova majka Aneta Fagioni nije se mogla othrvati toj prevelikoj tuzi. Oduzela si je život u travnju 1917. godine. Jozo će u pismu bratu Vlahu napisati:
Ah moj Vlaho, teško li sam tegnut od Božije desnice, ali zašto ne znam, jer nikomu nigda nikakva zla učinijo nijesam niti zaželio, pisat će Jozo milome bratu.
Jozo Fagioni umire u Cavtatu 14. svibnja 1919. godine.
I prvorođeni sin Vlaha Bukovca, kao i brata mu Joza, nosio je ime po djedu Augustinu, Ago.
Bukovac je suprugu upoznao 1891. godine, dok je boravio u Dubrovniku portretirajući obitelj Pitarević u Lapadu. U dvadesetak godina mlađoj Jelici Pitarević, prepoznat će svoju buduću ženu, a svadbena zvona zazvonila su već 2. siječnja 1892. godine. Jelica će Vlahu biti najveća podrška u životu i radu, a neće biti niti jedne životne situacije da on za mišljenje ne upita svoju ženu.
Ona će biti čest motiv Bukovčevih slika, bilo da ju je portretirao bilo da služila kao model za mnoge kompozicije. Vlaho je bio i obiteljski čovjek te je uz veliku supruginu podršku uspješno balansirao obitelj i posao: Moja obitelj i moj kist, eto mog života i moga raja!
Vlaho i Jelica imali su četvero djece, sina Augustina zvanog Ago te kćeri Mariju, Jelicu i Ivanku. Posljednjih dvadesetak godina života Vlaho će provesti s obitelji u Pragu, gdje je radio kao profesor na praškoj likovnoj akademiji. Nakon očeve smrti obitelj će se još neko vrijeme zadržati u Pragu. Za vrijeme Drugog svjetskog rata Bukovčeva supruga Jelica preselit će se u Cavtat. O njoj se brinula kći Jelica koja se s kćerima, također, doselila u očevu rodnu kuću.
Nakon radnog vijeka provedenog u diplomaciji, i Ago će se doseliti u Cavtat. Umro je 1961. godine u Londonu, a Jelica, nakon tragične sudbine svojih kćeri, Bukovčevih unuka, umire 16. siječnja 1967. godine te je pokopana zajedno sa svojom djecom na groblju Sv. Roka. Druge dvije Bukovčeve kćeri, Marija i Ivanka, trajno će se nastaniti u Cavtatu 1968. godine u kući na cavtatskoj obali koju su dobile kao zamjenu za rodnu obiteljsku kuću, koja je trebala postati muzej.
Iako su većinu života provele u Pragu, gdje su se i školovale, Ivanka i Marija zadržale su muzikalnost i autentičnost cavtatskog govora. Na upit novinarke prilikom jednog intervjua kako je moguće da su do te mjere zadržale svoj cavtatski dijalekt, Ivanka je odgovorila:
Ne bismo vam mogle rijet kako to. Jednostavno, govorimo jezikom kojim je pape s nama govorio. Znate, on je mnogo držao do domaćeg jezika.
Marija Bukovac Houdek umrla je 1975., a Ivanka Bukovac Javorsky 1978. godine u Cavtatu. S njima završava priča jedne obitelji koja je obilježila društveni i kulturni život Cavtata, a njen je glavni protagonist, Vlaho Bukovac, najveće ime hrvatske umjetničke scene.