오스트리아 클라겐푸르트에서 태어났다. 빈 기술사관학교, 브륀 공과대학 등에서 수학하면서 니체, 도스토예프스키, 마테를링크, 에머슨 등의 작품을 읽었다. 이후 베를린대학에서 철학과 논리학, 심리학을 공부하면서 첫 소설 『생도 퇴를레스의 혼란』(Die Verwirrungen des Zoglings Torleß)을 발표하여 평단의 좋은 평가를 받았다. 1908년 같은 대학에서 에른스트 마흐에 관한 연구로 박사학위를 받았고 이후 철학 교수의 길을 포기하고 작가로서의 길을 걷는다. 1930년과 32년 평생의 역작 『특성 없는 남자』(Der Mann ohne Eigenschaften) 1, 2권을 출간했으나 1938년 나치 정권에 의해 독일과 오스트리아에서 금지 서적으로 지정되었다. 이후 『특성 없는 남자』를 완성하기 위해 스위스로 이주했으나 질병과 생활고에 시달리다가 결국 미완성인 채로 제네바에서 숨을 거두었다. 생전에 평단 외에 큰 주목을 받지 못했던 『특성 없는 남자』는 아돌프 프리제가 유고를 정리한 전집이 출간되면서 세계적인 관심을 끌었고 지금은 20세기에 발표된 가장 중요한 독일어 소설로 꼽히고 있다. 이들 작품 외에 단편집 『합일』(Vereinigungen) 『세 여인』(Drei Frauen), 희곡 『몽상가들』(Die Schwarmer), 문집 『생전의 유고』(Nachlass zu Lebzeiten) 등이 있다.