Az együttest Bubnó Tamás alakította meg 2002-ben. A karvezető Kárpátalján folytatott kutatásokat egyházzenei doktorátusához, melynek témája A magyarországi és a Kárpátok-vidéki görög katolikus dallamok eredete és variánsai volt. Itt bukkant rá egy ismeretlen kéziratra, Boksay János (1874-1940) kárpátaljai görög katolikus pap-zeneszerző férfikarra komponált Aranyszájú Szent János-liturgiájára. A kórust tehát alapvetően azzal a céllal hozta létre, hogy megszólaltassa a felfedezett művet, így összegyűjtötte egyrészről hivatásos karénekes barátait, akik a legnagyszerűbb budapesti kórusokban énekeltek (mint pl. Honvéd Férfikar, Magyar Rádió Kórusa, Nemzeti énekkar, Tomkins énekegyüttes), másrészről a Budapesti énekes Iskolában (Schola Cantorum Budapestiensis) végzett énekes tanítványait.

Az újonnan megalakult, 15 fős együttest rendszeresen meghívták, hogy görög katolikus liturgiákon teljesítsen szolgálatot. Végleges nevük az egyik első nagy bizánci himnuszköltőt, Szír Szent Efrémet (306-373) idézi, akit már életében a "Szentlélek hárfája" névvel illettek.

Az együttes idővel egyre több koncertmeghívást kapott, első CD-jüket, a Boksay-liturgiát a Hungaroton adta ki. Repertoárjukat szláv-ortodox klasszikusok műveivel szélesítették, ennek eredményeképpen jelent meg második lemezük Byzantine spirit címmel az Orpheia kiadónál. A görög-bizánci, bolgár, magyar, orosz, ruszin, ukrán egyházzenei válogatás mellé egy különlegesség került: Liszt Ferenc egyetlen egyházi szláv nyelvre komponált motettája, a Slavimo slavno Slaveni. Ebben az időben a kórus jelentős támogatója volt az Országos Ruszin Kisebbségi önkormányzat. Harmadik CD-jük Liszt: Male Choruses I címmel jelent meg a BMC kiadónál. Ugyancsak itt jelent meg 2010-ben a Byzantine Mosaics című kiadványuk, amely Supersonic Award elismerésben részesült. Programján görög, román, bolgár, ukrán liturgikus himnuszok Csajkovszkij, Muszorgszkij, Rachmaninov, Glinka és Csesznokov művei, valamint kortárs magyar kompozíciók szerepelnek. Az év második felében 5. CD-jük is megjelenik: a Liszt összkiadás II. lemeze, amelyen a Szekszárdi mise és motetták hallhatóak Fassang László orgonaművész közreműködésével.

2006-ban átütő nemzetközi sikert ért el a férfikar: a Hajnówka Nemzetközi Ortodox Egyházzenei Fesztiválon (Lengyelország) megnyerték a professzionális kamarakórus kategóriát. Először fordult elő a rangos fesztivál 25 éves történetében, hogy nem szláv kórus vitte el az első díjat.

Az elmúlt öt évben a Szent Efrém Férfikar koncertezett Berlin, Moszkva, Szentpétervár, Párizs és Róma jelentős hangversenytermeiben és templomaiban. Turnéztak Lengyelországban, Szlovákiában és Szerbiában is. Nagyhírű külföldi és hazai fesztiválok kérték föl őket vendégszereplésre: Schleswig-Holstein Musik Festival (2007), Festival de Royaumont (2008), Festival d'Auvers sur Oise (2009), Budapesti Tavaszi Fesztivál (2006,2008), Miskolci Operafesztivál (2007, 2010), Művészetek Völgye (2006,2007), Arcus Temporum, Pannonhalma (2008), Csajkovszkij Maraton, Budapest (2008), Ördögkatlan Fesztivál (2008,2009, 2010), Pécs – Európa Kulturális Fővárosa (2010) Janacek Festival, Ostrava (2010), Kravare (2010), Dvorak Festival, Olomouc (2010), Donaufest-Ulm (2010), Liszt Festival Raiding (2010).

Az együttes fő célja továbbra is a bizánci rítusú egyházzene autentikus megszólaltatása, ám tematikus koncertek alkalmával a Szent Efrém Férfikar időnként műsorára tűz más, nyugati rítusú énekeket (gregoriánt, protestáns énekeket, gospeleket), valamint világi műveket, amennyiben azok kamarakórus létszámmal is megszólaltathatóak. Liszt- és Bartók előadásuk például óriási sikernek örvendett a 2007-es németországi Schleswig-Holstein-i Fesztiválon. Terveik között szerepel e két nagy magyar szerző férfikarainak összkiadása, további bizánci lemezek elkészítése mellett.