1905년 김원근상회를 창업, 신용을 바탕으로 타고난 상재(商材)를 발휘하며 모은 돈으로 그는 한말 일제의 침략을 극복하기 위하여 교육구국의 신념을 가지고 일생동안 육영사업과 구휼사업에 전념하며 민족의식을 일깨웠고 동포애를 발휘하였다.

22세 때인 1908년 조치원 좌사접장(左社接長, 지금의 상공회의소장)에 당선되었고, 1916년에는 연기 청년회장으로 활동하면서 청년회에 연청학원(燕淸學院)을 설치, 운영하며 교육사업에 첫발을 디뎠다. 1918년 조치원에 중학교를 설립하기 위하여 기성회까지 구성했으나 일제의 방해로 뜻을 이루지 못하였다. 그 뒤 1922년 청주로 이사하여 정착하면서 1924년 대성보통학교(大成普通學校)를 창립하고 이후 18년간 수업료를 받지 않는 등 본격적인 민족교육활동을 전개하였다. 그의 육영에 대한 뜻을 찬양하고, 그 공을 영원히 기리고자 1933년  대성보통학교 아동보호자 회원을 중심으로 한 청주지역 일대의 유지들이 설교기념비를 세웠다. 이 설교기념비는 현재 대성여자중학교 교정에 있다.

1935년 동생 김영근과 함께 청주상업학교(현, 청주대성고등학교)를 설립한데 이어 1944년 3월에는 청주여자상업학교(현, 대성여자상업교등학교)를 설립하였다. 광복 이후 미군정 시기 문교부에 첫 민간설립대학으로서 청주상과대학(현, 청주대학교)을 1946년 인가받아 이듬해에 개교하였다. 이는 광복 이후 한강 이남에서 설립된 최초의 대학이다. 이때 재단명칭도 김해학원(金海學園)에서 대성학원(大成學園)으로 변경하였고, 오늘의 청주대학교와 산하 6개 초·중등학교로 발전하는 기틀을 마련하였다.

1946년 국민일보사와 충북산업주식회사의 사장이 되었고, 1950년에는 삼창토건업주식회사의 사장으로 활동하며 여러 학교를 설립·발전시켰다. 1959년 대성여자중학교, 1960년 대성여자상업고등학교를 설립하였으며, 1965년에는 대성초등학교를 부활, 신설하였다.

1991년 청석학원으로 명칭을 변경하여 현재는 청주대학교를 비롯하여 청석고등학교, 청주대성고등학교, 대성여자상업고등학교, 대성중학교, 대성여자중학교, 대성초등학교에 이르는 전국 굴지의 사학으로 발전하고 있다.

그는 육영사업 외에도 구휼·자선사업에 막대한 자산을 희사하였다. 1906년의 수재민 구호사업을 시작으로 1925년에는 조치원 및 연기군 서면의 기근자 약 7,500여명을 구휼하였고, 1929년에는 청원군 남일면 두산리의 하천부지 6만평을 개간하여 844호의 농민들을 안착시킴은 물론 쌀 540가마를 단독으로 구입하여 3개 면의 재민 구제 활동을 하였다. 뿐만 아니라 1935년 청원군 가덕, 낭성, 미원면 등 3개 면에 걸쳐 5,700호의 흉작 재해민을 구호하였으며, 1939년에도 청주, 청원군의 남일, 문의, 강서 등 5개 읍면의 흉작 기근민 구제에 앞장섰다. 1945년 광복 후에는 충북전재민구제회장(忠北戰災民救濟會長)으로 활동하면서 구호 가옥 550여동을 세워 난민을 구제하였으며, 1954년에는 청주경찰서 3층 건물과 청원군 가덕면사무소를 지어 희사하기도 하였다.

청주시 강서동, 청원군 가덕면, 남일면, 문의면, 미원면 등 7개소에 구제비와 진휼비가 세워진 것을 통하여 그가 행한 한없는 동포애와 사회봉사 정신을 가히 짐작할 수 있다. 평소 검소한 생활로 만인의 존경을 한 몸에 받았던 그의 공로가 인정되어 1962년에는 공익포장을 받았고, 1964년에는 문화훈장 국민장을 수상하였다. 1965년 향년 80세로 타계했다.

장례는 충청북도 사회장으로 엄수되었다. 묘소는 우암산 기슭에 위치하고 있으며, 1966년 11월에는 묘역에 청암묘비가 건립되었다.