Народився 25 травня (7 червня за н. ст.) 1887 у селі Котельва (нині смт, Котелевський район, Полтавська область) на Полтавщині у багатодітній сім'ї, що налічувала одинадцять душ. За даними біографів, родина Ковпака мала циганське коріння.
1914 його мобілізували до Російської армії. На Першій Світовій війні відзначився у боях на фронті, став професійним диверсантом, відзначений бойовими нагородами Російської імперії: два Георгіївських хрести і дві Георгіївські медалі.
Після Жовтневої Революції 1917 — на різних фронтах, зокрема у складі 25-ї Чапаєвської дивізії Червоної Армії, яка брала участь у боях проти білогвардійців під містом Гур'єв на Каспії та проти військ російського генерала Петра Миколайовича Врангеля на Перекопі у Криму.
Учасник радянсько-німецької війни з вересня 1941. Органами НКВД СРСР залишений у німецькому тилу для організації диверсійних операцій — командир Путівльського партизанського загону, а потім — об'єднання партизанських загонів Сумської області.
Після закінчення війни пішов спочатку на господарську, а потім на партійну роботу. Був депутатом міськради м.Путивль Сумської області.
1947 — заст. голови Президії Верх. Ради УРСР. Помер у Києві, похований на Байковому кладовищі.