近日，知名科技媒体9to5Mac发布了一项引人注目的对比测试结果，聚焦于苹果最新推出的转录API与OpenAI的Whisper模型之间的性能差异。测试中，该媒体采用了一段9to5Mac Daily播客音频作为样本，时长7分31秒，用以评估苹果新API、通过MacWhisper应用运行的OpenAI Whisper Large v3 Turbo以及英伟达的Parakeet v2模型的转录效果。
测试环境为搭载M2 Pro芯片、配备16GB内存的MacBook Pro笔记本，利用Hugging Face Spaces的Metric: cer和Metric: wer工具，精确测量了各模型的字符错误率（CER）和单词错误率（WER）。
结果显示，英伟达的Parakeet v2在转录速度上拔得头筹，仅需2秒即可完成转录，但其CER和WER相对较高。相比之下，OpenAI的Whisper Large V3 Turbo虽然转录时间长达40秒，却展现了最高的准确性。苹果的转录API则在速度与准确性之间找到了一个平衡点，转录时间接近Parakeet v2的9秒，同时准确性显著优于后者。
为了更全面地评估各模型的性能，9to5Mac还引入了ChatGPT、Claude和Gemini作为基线，再次计算了CER和WER。尽管不同基线下的模型表现有所差异，但Whisper在准确性方面始终保持着领先地位。以ChatGPT为基线时，苹果的模型在保持较快转录速度的同时，其准确性略逊于Whisper，但仍优于Parakeet v2。而在Claude和Gemini的基线测试中，苹果模型的准确性虽有所提升，但仍未能超越Whisper。
具体而言，在ChatGPT基线测试中，Parakeet v2的转录时间最短，但错误率最高；Whisper的准确性最高，转录时间最长；苹果模型则位于两者之间。Claude和Gemini基线测试的结果也呈现出类似的趋势，即Whisper在准确性上独占鳌头，而苹果模型则在速度与准确性之间取得了相对平衡的表现。
