上海天局信息技术有限责任公司

网站首页 > 天局论坛 > Android > Framework

Android在MediaMuxer和MediaCodec录制视频示例 - audio+video

2017-08-27 01:26:32 上海天局信息技术有限责任公司 已读

Android在MediaMuxer和MediaCodec录制视频示例 - audio+video

Android多媒体类,MediaMuxer和MediaCodec这是一个相对年轻,他们是JB 4.1和JB 4.3据介绍。


前者被用来产生一个混合的音频和视频的多媒体文件。的缺点是,现在可以只支持一个audio track而一个video track,而唯一支持mp4出口。然是新生事物,相信之后的版本号应该会有大的改进。MediaCodec用于将音视频进行压缩编码,它有个比較牛X的地方是能够对Surface内容进行编码,如KK 4.4中屏幕录像功能就是用它实现的。

注意它们和其他一些多媒体相关类的关系和差别:MediaExtractor用于音视频分路,和MediaMuxer正好是反过程。MediaFormat用于描写叙述多媒体数据的格式。MediaRecorder用于录像+压缩编码。生成编码好的文件如mp4, 3gpp,视频主要是用于录制Camera preview。MediaPlayer用于播放压缩编码后的音视频文件。

AudioRecord用于录制PCM数据。AudioTrack用于播放PCM数据。PCM即原始音频採样数据。能够用如vlc播放器播放。

当然了,通道採样率之类的要自己设。由于原始採样数据是没有文件头的,如:
vlc --demux=rawaud --rawaud-channels 2 --rawaud-samplerate 44100 audio.pcm

回到MediaMuxer和MediaCodec这两个类,它们的參考文档见http://developer.android.com/reference/android/media/MediaMuxer.html和http://developer.android.com/reference/android/media/MediaCodec.html。里边有使用的框架。这个组合能够实现非常多功能,比方音视频文件的编辑(结合MediaExtractor),用OpenGL绘制Surface并生成mp4文件,屏幕录像以及类似Camera app里的录像功能(尽管这个用MediaRecorder更合适)等。



这里以一个非常无聊的功能为例,就是在一个Surface上绘图编码生成视频。同一时候用MIC录音编码生成音频,然后将音视频混合生成mp4文件。

程序本身没什么用。可是演示样例了MediaMuxer和MediaCodec的基本使用方法。本程序主要是基于两个測试程序:一个是Grafika中的SoftInputSurfaceActivity和HWEncoderExperiments。它们一个是生成视频,一个生成音频,这里把它们结合一下,同一时候生成音频和视频。基本框架和流程例如以下:

技术分享

首先是录音线程,主要參考HWEncoderExperiments。

通过AudioRecord类接收来自麦克风的採样数据,然后丢给Encoder准备编码:


[java] view plain copy
  1. AudioRecord audio_recorder;  

  2. audio_recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,         

  3.         SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, buffer_size);                          

  4. // ...  

  5. audio_recorder.startRecording();  

  6. while (is_recording) {  

  7.     byte[] this_buffer = new byte[frame_buffer_size];  

  8.     read_result = audio_recorder.read(this_buffer, 0, frame_buffer_size); // read audio raw data  

  9.     // …  

  10.     presentationTimeStamp = System.nanoTime() / 1000;  

  11.     audioEncoder.offerAudioEncoder(this_buffer.clone(), presentationTimeStamp);  // feed to audio encoder  

  12.   

  13. }  

这里也能够设置AudioRecord的回调(通过setRecordPositionUpdateListener())来触发音频数据的读取。offerAudioEncoder()里主要是把audio採样数据送入音频MediaCodec的InputBuffer进行编码:


[java] view plain copy
  1. ByteBuffer[] inputBuffers = mAudioEncoder.getInputBuffers();  

  2. int inputBufferIndex = mAudioEncoder.dequeueInputBuffer(-1);   

  3. if (inputBufferIndex >= 0) {  

  4.     ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];  

  5.     inputBuffer.clear();  

  6.     inputBuffer.put(this_buffer);  

  7.     ...  

  8.     mAudioEncoder.queueInputBuffer(inputBufferIndex, 0, this_buffer.length, presentationTimeStamp, 0);  

  9. }  

以下,參考Grafika-SoftInputSurfaceActivity,并增加音频处理。


主循环大体分四部分:


[java] view plain copy
  1. try {  

  2.     // Part 1  

  3.     prepareEncoder(outputFile);  

  4.     ...  

  5.     // Part 2  

  6.     for (int i = 0; i < NUM_FRAMES; i++) {  

  7.         generateFrame(i);  

  8.         drainVideoEncoder(false);  

  9.         drainAudioEncoder(false);  

  10.     }  

  11.     // Part 3  

  12.     ...  

  13.     drainVideoEncoder(true);  

  14.     drainAudioEncoder(true);  

  15. }  catch (IOException ioe) {  

  16.     throw new RuntimeException(ioe);  

  17. finally {  

  18.     // Part 4  

  19.     releaseEncoder();  

  20. }  

第1部分是准备工作。除了video的MediaCodec,这里还初始化了audio的MediaCodec:


[java] view plain copy
  1. MediaFormat audioFormat = new MediaFormat();  

  2. audioFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, 44100);  

  3. audioFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);  

  4. ...          

  5. mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME_TYPE);  

  6. mAudioEncoder.configure(audioFormat, nullnull, MediaCodec.CONFIGURE_FLAG_ENCODE);  

  7. mAudioEncoder.start();  

第2部分进入主循环,app在Surface上直接画图,因为这个Surface是从MediaCodec中用createInputSurface()申请来的,所以画完后不用显式用queueInputBuffer()交给Encoder。


drainVideoEncoder()和drainAudioEncoder()分别将编码好的音视频从buffer中拿出来(通过dequeueOutputBuffer()),然后交由MediaMuxer进行混合(通过writeSampleData())。

注意音视频通过PTS(Presentation time stamp。决定了某一帧的音视频数据何时显示或播放)来同步,音频的time stamp需在AudioRecord从MIC採集到数据时获取并放到对应的bufferInfo中,视频因为是在Surface上画,因此直接用dequeueOutputBuffer()出来的bufferInfo中的即可,最后将编码好的数据送去MediaMuxer进行多路混合。



注意这里Muxer要等把audio track和video track都增加了再開始。

MediaCodec在一開始调用dequeueOutputBuffer()时会返回一次INFO_OUTPUT_FORMAT_CHANGED消息。

我们仅仅需在这里获取该MediaCodec的format,并注冊到MediaMuxer里。

接着推断当前audio track和video track是否都已就绪,假设是的话就启动Muxer。

总结来说,drainVideoEncoder()的主逻辑大致例如以下,drainAudioEncoder也是类似的。仅仅是把video的MediaCodec换成audio的MediaCodec就可以。


[java] view plain copy
  1. while(true) {  

  2.     int encoderStatus = mVideoEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);  

  3.     if (encoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {  

  4.         ...  

  5.     } else if (encoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {  

  6.         encoderOutputBuffers = mVideoEncoder.getOutputBuffers();  

  7.     } else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {  

  8.         MediaFormat newFormat = mAudioEncoder.getOutputFormat();  

  9.         mAudioTrackIndex = mMuxer.addTrack(newFormat);  

  10.         mNumTracksAdded++;  

  11.         if (mNumTracksAdded == TOTAL_NUM_TRACKS) {  

  12.             mMuxer.start();  

  13.         }  

  14.     } else if (encoderStatus < 0) {  

  15.         ...  

  16.     } else {  

  17.         ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];  

  18.         ...  

  19.         if (mBufferInfo.size != 0) {  

  20.             mMuxer.writeSampleData(mVideoTrackIndex, encodedData, mBufferInfo);  

  21.         }  

  22.         mVideoEncoder.releaseOutputBuffer(encoderStatus, false);  

  23.         if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {  

  24.             break;          

  25.         }  

  26.     }  

  27.   

  28. }  

第3部分是结束录制。发送EOS信息。这样在drainVideoEncoder()和drainAudioEncoder中就能够依据EOS退出内循环。


第4部分为清理工作。

把audio和video的MediaCodec,MediaCodec用的Surface及MediaMuxer对象释放。

最后几点注意:
1. 在AndroidManifest.xml里加上录音权限,否则创建AudioRecord对象时铁定失败:
 <uses-permission android:name="android.permission.RECORD_AUDIO"/>
2. 音视频通过PTS同步,两个的单位要一致。
3. MediaMuxer的使用要依照Constructor -> addTrack -> start -> writeSampleData -> stop 的顺序。假设既有音频又有视频,在stop前两个都要writeSampleData()过。

Code references:
Grafika: https://github.com/google/grafika
Bigflake: http://bigflake.com/mediacodec/
HWEncoderExperiments:https://github.com/OnlyInAmerica/HWEncoderExperiments/tree/audioonly/HWEncoderExperiments/src/main/Java/net/openwatch/hwencoderexperiments
Android test:http://androidxref.com/4.4.2_r2/xref/cts/tests/tests/media/src/android/media/cts/ 
http://androidxref.com/4.4.2_r2/xref/pdk/apps/TestingCamera2/src/com/android/testingcamera2/CameraRecordingStream.java


Powered by MetInfo 5.3.17 ©2008-2021 www.metinfo.cn