U ranom 19. stoljeću u cavtatsku je luku uplovio talijanski mornar iz okolice Genove, Giuseppe Fagioni, djed Vlaha Bukovca. Ne znamo što je točno talijanskog mornara zadržalo neko vrijeme u Cavtatu, nevrijeme ili popravak broda, ali ono što znamo jest da je upoznao lokalnu djevojku, Anu Kličan, koja će 1807. postati njegova žena, a obitelj Fagioni važan dionik cavtatskog društvenog i kulturnog života.
Ime Giuseppea Fagionija naći ćemo u katastarskim kartama i knjigama iz 1837. godine, i to kao vlasnika jednokatnice s cisternom, prizemnom kuhinjom i krušnom peći. Osim te čestice koja zauzima današnji istočni dio Kuće Bukovac, obitelj Fagioni posjedovala je još niz nekretnina u Cavtatu. Na mjestu zapadnog dijela današnje Kuće Bukovac, kako stoji u tim prvim katastarskim kartama, nalazila se ruševina s cisternom.
Tu malu jednokatnicu, koju je Bukovac prema sjećanju nacrtao kao ilustraciju za svoju autobiografiju, njegov je otac nadogradio oko 1872. godine. Vrijeme je to kad se mladi Vlaho s nepunih 17 godina vratio ozlijeđene glave sa svoje morske pečalbe i kad je na svježe ožbukanim zidovima ostavio svoj jedinstveni trag – zidne oslike, koji danas nakon gotovo 150 godina ponovo vraćaju svoj stari sjaj.
Te graditeljske aktivnosti Augustina Fagionija, Bukovčevog oca, možemo pratiti na katastarskoj karti Cavtata iz 1876. godine. Vidimo da je prostorna dispozicija istočnog dijela kuće dobila današnji izgled, jednako kao i ulazna korta sa središnjim ulaznim stubištem, izdignutim i zidovima omeđenim zemljanim površinama i popločanom šetnicom pred pročeljem.
Ne puno kasnije obitelj je kupila, i istočnom dijelu kuće pripojila, već spomenutu ruševinu s cisternom. Prostrana prizemna prostorija, danas izložbeni prostor, korištena je kao magazin, na koji je vjerojatno još Bukovčev otac dodao kat, a kući će konačan izgled dati upravo Vlaho Bukovac. On je oko 1900. godine iznad tinela sagradio sebi atelje. Sa sjeverne strane atelje je otvoren velikom prozorskom staklenom stijenom gotovo cijelom dužinom zida te vratima kojima se pristupalo na drvenu pasarelu, odnosno mostić koji iz ateljea vodi izravno u stražnji vrt. Te dvije, nekad zasebne građevine, ujedinio je u jednu cjelinu i kuća je zadobila današnji izgled. To je bilo vrijeme kad je Bukovac, vrativši se iz Zagreba 1898. godine, jedan dulji period od četiri godine proveo u kontinuitetu u Cavtatu, prije nego što će se prvo, na kraći period, preseliti u Beč i zatim konačno u Prag.
Slikarev atelje bio je, kako saznajemo iz pisama koje Bukovcu u Prag iz Cavtata šalje prijatelj Gjorgji Bijelić, pokazivan zainteresiranim posjetiteljima i za vrijeme Prvog svjetskog rata. Kasnije, nakon Bukovčeve smrti, tu je tradiciju nastavila i obitelj te se intenziviraju njihova nastojanja oko uspostave Memorijalnog muzeja Vlaha Bukovca. Godine 1963. konačno je potpisan kupoprodajni ugovor između Jugoslavenske akademije znanosti i umjetnosti i nasljednika Bukovčeve ostavštine, sljedeće je godine otkupljena kuća s inventarom te je, zalaganjem akademika Cvita Fiskovića, unutar Historijskog instituta JAZU u Dubrovniku osnovana posebna jedinica, Memorijalni muzej Vlaha Bukovca, kasnije preimenovana u Spomen-zbirku Vlaha Bukovca.
Međutim, proći će cijelo desetljeće da se konačno 1976. godine, ali kao dio Umjetničke galerije Dubrovnik, na drugom katu kuće za posjetitelje otvori Galerija Bukovac. Bila je otvorena do početka Domovinskog rata 1991. godine, kada su slike evakuirane u Dubrovnik. Nakon što je 1993. osnovana je općina Konavle na koju je preneseno vlasništvo nad kućom Bukovac, 1997. godine osnovana je ustanova Muzeji i galerije Konavala, u čijem se sastavu Kuća Bukovac danas nalazi.
Nedugo nakon osnivanja ustanove započeli su i opsežni radovi na obnovi zgrade. Radeći na iskopu zemlje u vrtu, sa sjeverne strane kuće, kako bi se dobio prostor za muzejsku čuvaonicu, naišlo se na znatan broj različitih ulomaka koji su potvrdili kontinuitet života na ovoj mikrolokaciji još od antičkih vremena. Ispod zemljanog sloja, otprilike na dva metra dubine, počeo se pojavljivati veliki broj tegula i imbreksa (rimski crijep), a zatim se došlo i do razine podnice rimske kuće. Osim građevnih elemenata (podnica, dio žbukanog zida, tegule) koji pozicioniraju mjesto kuće na parceli, pronađeno je i nekoliko cjelovitih pokretnih nalaza: mali kućni žrtvenik, keramička čaša, koštana posudica i sl. Usporedo su se odvijali i radovi na restauraciji novootkrivenih zidnih oslika te je kuća za javnost ponovno otvorena 2004. godine.
Danas je Kuća Bukovac, kao muzejski prostor koji prezentira bogatu slikarevu ostavštinu, otvorena posjetiteljima u cijelosti. Muzeološki koncept počiva na prožimanju dvaju temeljnih načela tog specifičnog prostora, onog obiteljske kuće, kao i onog muzejskog.