我國昔日舊制，行政統攝司法。清末變法，光緒卅三年定大理院官制，將原有之大理寺改為大理院，為全國最高終審機關，置總檢察廳與之對立，相當於今日之檢察署。民國十四年國民政府成立於廣東，設大理院，配以總檢察廳。

　　民國十六年國府奠都南京，於十月廿五日公布最高法院組織暫行條例，依該條例第六條規定，最高法院置首席檢察官一員、檢察官五員，依法令之所定處理關於檢察之一切事務。民國十七年十一月十七日國民政府公布最高法院組織法，而於該法第六條規定，最高法院配置檢察署。目前最高法院檢察署之名稱，始見諸於法律明文。

　　民國十八年八月十四日公布修正最高法院組織法，第六條仍規定配置檢察署，但將檢察官之人數明定為七至九人。民國二十一年十月二十八日公布現行法院組織法，至二十四年七月一日施行，規定最高法院設檢察署，置檢察官若干人，以一人為檢察長。在審級上仍與最高法院同列於第三審地位，但在行政系統上隸屬於行政院所屬之司法行政部，最高法院則隸屬於司法院。

　　自六十九年七月一日實施審檢分隸，最高法院檢察署連同台灣高等法院檢察署及其轄下各級檢察署正式隸屬法務部，原隸屬司法行政部之高等以下各級法院改隸司法院，使我國司法制度邁入新境界，期能共同達成維護法紀，弘揚法治之神聖使命。

　　民國96年4月2日增訂法院組織法第63條之1規定，成立「特別偵查組」專責偵辦涉及總統、副總統、五院院長、部會首長或上將階級軍職人員之貪瀆案件、選務機關、政黨或候選人於總統、副總統或立法委員選舉時，涉嫌全國性舞弊事件或妨害選舉案件及特殊重大貪瀆、經濟犯罪、危害社會秩序，經檢察總長指定之案件等法定重大案件等。

　　特別偵查組由檢察總長調派各級檢察署優秀幹練檢察官、檢察事務官及其他人員，並結合警、調、政風及相關機關專業人員共同組成專案小組，積極偵辦法院組織法第63條之1第1項所列之重大貪瀆或舞弊案件，並對所偵辦之重大案件秉持「不偏不倚，毋枉毋縱」精神，對所有當事人，均本於法律專業及良知，無分身分、地位、黨派，一律依法秉公處理。

　　105年11月18日立法院三讀通過法院組織法修正案，刪除特別偵查組設立之法源，自106年1月1日起施行。

　　107年5月8日立法院三讀通過增訂法院組織法第114條之2規定，機關名稱改為最高檢察署。