1878년 퇼츠에서 태어났다. 부모의 권유에 따라 뮌헨과 뷔르츠부르크 대학에서 의학을 공부했으며 파사우에서 의사로 봉직했다. 뮌헨에 거주할 당시 그는 릴케와 프랑크 베데킨트 등의 작가들과 교류를 했으며, 1910년에는 그의 첫 시집이 출간되었다. 1913년에는 일기 형식을 띤 산문시 ≪뷔르거 박사의 종말(Dr. Burgers Ende)≫이 출간되었다. 1914년부터 카로사는 뮌헨으로 옮겨 와 의원 생활을 계속하며, 작품 집필에도 열중했다. 1922년에 그의 자전 소설 ≪유년 시절≫이 출간되었으며, 그 후 세상을 떠나기 전까지 그는 자전소설 세 권을 더 써 냄으로써 독일의 자전소설사에 큰 기여를 했다. 1929년부터는 의사 생활을 접고 작품 생활에만 전념했다. 1931년에는 고트프리트 켈러 문학상을, 1938년에는 괴테 문학상을, 1939년에는 이탈리아에서 산레모(San Remo) 문학상을 받았다. 1956년 파사우 근처에서 영면했다.