이듬해 임진왜란이 일어나자 옥포에서 일본 수군과 첫 해전을 벌여 30여 척을 격파하였다. 이어 사천에서는 거북선을 처음 사용하여 적선 13척을 분쇄하였다. 또 당포해전과 1차 당항포해전에서 각각 적선 20척과 26척을 격파하는 등 전공을 세워 자헌대부로 품계가 올라갔다. 같은해 7월 한산도대첩에서는 적선 70척을 대파하는 공을 세워 정헌대부에 올랐다. 또 안골포에서 가토 요시아키의 수군을 격파하고, 9월 일본 수군의 근거지인 부산으로 진격하여 적선 100여 척을 무찔렀다.

1593년 다시 부산과 웅천에 있던 일본군을 격파함으로써 남해안 일대의 일본 수군을 완전히 일소한 뒤 한산도로 진영을 옮겨 최초의 삼도수군통제사가 되었다. 이듬해 명나라 수군이 합세하자 진영을 죽도로 옮긴 뒤, 장문포해전에서 육군과 합동작전으로 일본군을 격파함으로써 적의 후방을 교란하여 서해안으로 진출하려는 전략에 큰 타격을 가하였다. 명나라와 일본 사이에 화의가 시작되어 전쟁이 소강상태로 접어들었을 때에는 병사들의 훈련을 강화하고 군비를 확충하는 한편, 피난민들의 민생을 돌보고 산업을 장려하는 데 힘썼다.