브람스는 1882년 봄 바트 이슐에 머물고 있을 때 이 곡의 작곡에 착수하였다. 현악기만으로 이루어진 실내악곡은 7년 만에 쓰는 것이었다. 곡을 쓰기 직전까지는 피아노 3중주곡을 쓰고 있었는데, 모차르트와 슈베르트, 그리고 브루크너의 5중주곡을 듣고 자극을 받아 작곡하던 피아노 3중주를 중단하고 이 곡을 쓰기 시작한 것으로 알려져 있다. 6월 30일에는 파트보 인쇄를 위하여 빌로트에게 총보를 전하였다. 빌로트는 클라라에게 이 곡이 봄의 향취를 가지고 있다고 전했다고 한다. 브람스는 이 곡의 총보를 헤르초겐베르크 부인에게 보내기도 하였는데, 빌로트와 헤르초겐베르크 부인 등의 편지로 미루어 이례적으로 빠른 시일 내에 완성되었음을 알 수 있다.

비공식적인 초연은 그 해 8월 25일, 바트 이슐 남쪽에 위치한 부다페스트의 라디슬라우스 바그너 교수의 별장에서 이루어졌다. 특정 손님들을 초대한 반공개형태의 시연이었다. 10월 19일에는 빈의 젤로트의 집에서 헬메스베르거 4중주단이 이 곡을 연주하였고, 브람스는 이 연주를 듣고 만족하였는지 이튿날 총보의 인쇄를 위하여 짐로크에게 이 곡의 악보를 보냈다. 곡의 첫 악장과 마지막 악보에는 브람스의 필체로 ‘1882년 봄’이라고 적혀있다고 한다. 총보와 파트보는 모두 11월(혹은 12월)에 출판되었으며, 자필 초고는 후에 경매를 통하여 지휘자 푸르트뱅글러의 소유가 되었다가 그의 사후에 헤르초겐베르크 부인에 의해 바덴바덴의 브람스 협회로 옮겨졌다.

정식 초연은 12월 29일, 프랑크푸르트 암 마인의 잘바우에서 이루어진 박물관협회의 제5회 〈실내악의 밤〉에서 후고 헤르만(Hugo Hermann)을 비롯한 다섯 명의 연주자들이 했다. 브람스는 이 곡을 피아노 연탄곡으로도 편곡하였다. 이 역시 매우 빠른 시일 내에 이루어졌는데, 10월 11일 이미 짐로크에게 보내졌으며, 12월에 출판되었다.

브람스는 이 곡에 대하여 스스로 굉장한 자부심을 가지고 있었던 듯하다. 자신의 곡을 세상에 내놓는 것에 대해 유달리 신중하였으며 자주 지난 작품들을 파기하곤 했던 브람스가 이 곡에 대해서 짐로크에게 “나에게 이렇게 아름다운 작품이 있으리라고는 상상치 못했을 것이다”라고 하였으며, 1890년 클라라에게 보낸 편지에는 이 작품을 일컬어 “나의 가장 멋진 작품 가운데 하나”라고 하였을 정도였기 때문이다.

실제로 이 곡은 전반적으로 민요풍의 쉽고 친근한 리듬과 선율을 유지하고 있어 경쾌하고 명랑한 아름다움을 갖는다. 그러나 그 구성과 형식은 전혀 단순하지 않고, 대단히 구조적이고 치밀하다. 브람스는 원래 세 곡의 현악 5중주를 남겼었는데 그 중 현악 5중주로 출판되지 않은 한 곡은 브람스의 성에 차지 않아 피아노 5중주 f단조로 개작되어 남았다. 그 곡은 비올라가 아닌 첼로가 두 대로 편성되어 있었는데, 브람스는 그 울림에 만족하지 못하여 이후의 곡들에 비올라를 두 대 편성하였던 것이다. 그 때문으로 이 작품은 모든 성부의 울림이 매우 충실하다.








브람스가 작품을 쓸 때 자주 주위 사람들에게 작곡중인 악보를 보내 조언을 구하곤 했던 것에 비하여, 이 곡은 비교적 홀로 은밀히 작곡한 것으로 보인다. 따라서 정확히 언제 작곡을 시작했는지 알 수 없지만, 브람스 전기에서는 대체로 1890년 4월 브람스가 일곱 번째 이탈리아 여행을 갔다가 돌아와(그래서인지 이 곡에는 이탈리아적인 명랑한 색채가 묻어난다) 5월에 바트 이슐로 피서를 떠나기 전까지의 시기에 작곡을 시작한 것으로 추측한다. 브람스는 이를 누구에게도 알리지 않은 듯 하며, 그 해 7월에 만디체우스키에게 보낸 편지에 처음으로 이 곡에 대해 언급하였다. 클라라에게는 8월에 작곡을 알렸지만 실제로 곡을 들려준 것은 이듬해라고 한다.

브람스는 자신의 〈현악 5중주 1번〉에 대하여 그 곡이 자신의 가장 멋진 곡 중 하나라고 말 할 정도로 자부심을 가지고 있었기 때문에 이 곡을 사람들에게 보이는데 부담을 가지게 되어 작곡 과정을 밝히는 것을 저어했던 듯하다. 실제로 클라라에게 8월에 보낸 편지에도 그러한 걱정을 토로하고 있다. 새로운 현악 5중주 악보를 처음 보여준 사람은 엘리자베트 폰 헤르초겐베르크 부인으로, 그 해 10월 브람스는 그녀에게 작품 초고의 사본을 보냈다. 이러한 부담에도 불구하고 이 곡을 작곡한 것은 요아힘이 브람스가 1882년 작곡한 〈현악 5중주 1번〉 op.88과 쌍을 이루는 작품을 쓰도록 강하게 권유했기 때문이라고도 한다.

곡의 정식 초연은 11월 11일, 빈의 뵈젠도르퍼 홀에서 열린 로제 4중주단의 〈실내악의 밤〉에서 이루어졌다. 이후 12월 베를린의 징아카데미 연주홀에서 요아힘 4중주단 등에 의해 연주되기도 하였다. 정식 초연에 앞서 비공식적 시연도 있었는데, 이 시연에서 1악장 첼로에서 제시되는 주제가 잘 드러나지 않는다는 평을 받아 요아힘의 의견을 수렴하여 곡을 일부 수정하였다. 이 수정본을 짐로크에게 보내기도 하였지만, 결국 작품은 수정 전의 형태를 최종본으로 하여 다시 짐로크에게 12월 13일에 보내지게 되었다. 출판은 이듬해 2월에 이루어졌다. 〈현악 5중주 1번〉과 마찬가지로 피아노 연탄곡으로도 편곡되었는데, 이 곡은 원곡보다도 먼저 짐로크에게 보내져, 이듬해 2월 역시 원곡보다 조금 먼저 출판되었다.


이 곡을 완성한 이후로 브람스는 더 이상 대곡을 기획하지 않고, 미완성 작품의 끝을 보거나 완성 작품을 개작하는 정도로만 작곡활동을 하였다. 57세의 많지 않은 나이였지만 자신의 창작력이 다한 것 같다고 판단한 것으로 보이는데, 심지어 유언장을 작성하기도 했다. 자신의 마지막 불꽃이라고 생각했는지, 브람스는 이 곡에 정열과 강렬함을 담아냈다.