本文共 23142 字，大约阅读时间需要 77 分钟。

4. Filter的结构体关系图与定义

4.1 结构体间的关系图

filter涉及的结构体，主要包括：

> FilterGraph, AVFilterGraph

> InputFilter, InputStream, OutputFilter, OutputStream

> AVFilter， AVFilterContext

> AVFilterLink

> AVFilterPad；

 

它们之间的类关系如下图所示：

图5：滤镜结构体关系图

 

从上图可以看到，FFmpeg的滤镜相关的结构体三层组成：

1) filtergraph层

由结构体 FilterGraph, AVFilterGraph组成；

其中,

FilterGraph， 包含一个InputFilter, 它指示了整个Graph的第一个滤镜，并指示了InputStream, 从而作为整个Graph的输入；

包含一个OutputFilter, 它指示了整个Graph的最后一个滤镜，并指示了OutputStream,从而作为整个Graph的输出；

包含一个AVFilterGraph的实例，它指示的是组成本graph的filter;

 

2) filterchain层

它由AVFilter, AVFilterContext, AVFilterLink, AVFilterPad组成；

其中，AVFilterContext是AVFilter的实例；

而filter之间是用 AVFilterLink进行连接，意思是，滤镜之间并不是直接相连的，是通过AVFilterLink进行连接；

AVFilterContext 通过AVFilterLink进行连接后，就组成了Filterchain。

而AVFilterContext与AVFilterLink之间的AVFilterPad是直接相连的，对应的关系是

AVFilterContext的output_pad 连接它下游AVFilterLink的 srcpad;

AVFilterContext的input_pad 连接它上游AVFilterLink的 dstpad;

 

3) filter层

由AVFilterContext, AVFilterPad组成；

其中AVFilterContext是真正进行数据处理的滤镜实体；

 

AVFilterPad用于AVFilterContext之间的callback（回调）：

第一个AVFilterContext的outputs[0]指针，指向第一个AVFilterLink，这个AVFilterLink的dst指针，指向第二个AVFilterContext。

如果在前一个AVFilterContext调用 outputs[0]->dstpad->filter_frame(Frame* input_frame1),

那其实就意味着，第一个过滤器，可以把处理好的一个frame（名字为input_frame1），可以通过这个调用，传递给第二个过滤器的input_pads的filter_frame函数。

而第二个过滤器，里面就是用户自己实现的filter_frame()，以对数据进行处理；

 

 

 

 

以 ./ffmpeg_g -i INPUT.mp4 -vn -acodec libfdk_aac -filter_complex "aresample=osf=s16,denoise" -ar 16000 -ac 1 -y OUTPUT.mp4 为例：

它们的实际数据流程如下图所示：

 

图6：-filter_complex "aresample=osf=s16,denoise"的滤镜实例图

 

从上图可以看到，虽然我们只使用了两个滤镜，但构建出来的filterchain实际上包含有：五个filter, 和四个link;

是因为ffmpeg系统会自动为用户设置的滤镜添加上必要的输入、输出滤镜，并将它们连接起来，组成一个完整的filterchain;

其中，ffmpeg默认是有3个filter的！分别是 "graph_0_in_0_0"，"format_out_0_0"， "out_0_0"

它们对应的滤镜类型是： “buffersrc”, “format”, “buffersink”。

它们对应的源码位于： libavfilter/buffersrc.c libavfilter/vf_format.c（对应视频格式） libavfilter/format.c（对应音频格式） , libavfilter/buffersink.c

 

 

上图中：

蓝色和绿色连线 是 AVFilterContext 与 AVFilterLink的连接关系 ；

红色连线 是 AVFilterPad的连接关系；

灰色连线 是 组成AVFilterGraph的AVFilterContext;

 

上图中，上半部分是filtergraph层：

左边连接的是InputFilter，用来引入filtergraph的输入流；

右边连接的是OutputFilter，用来导出filtergraph的输出流；

并且指示了组成本filtergraph的所有filter;

 

上图中，下半部分是filterchain层：

AVFilterContext与AVFilterLink是一种双向链表指针的关系，见图左的蓝色和绿色连线所示；

即 AVFilterContext的 outputs 指向 它的下游 AVFilterLink；

而 下游的AVFilterLink的 src 批向它上游的 AVFilterContext；

 

4.2 FilterGraph 滤镜图结构体定义

typedef struct FilterGraph {    int            index;    const char    *graph_desc;    AVFilterGraph *graph;                // 指向它的实例    int reconfiguration;    InputFilter   **inputs;    int          nb_inputs;    OutputFilter **outputs;    int         nb_outputs;} FilterGraph;

 

4.3 AVFilterGraph 滤镜图结构体定义

 

typedef struct AVFilterGraph {    const AVClass *av_class;    AVFilterContext **filters;                      // 本 滤镜图 包含的所有 filter， 包括系统自生成的    unsigned              nb_filters;                char *scale_sws_opts;                            ///< sws options to use for the auto-inserted scale filters#if FF_API_LAVR_OPTS    attribute_deprecated char *resample_lavr_opts;   ///< libavresample options to use for the auto-inserted resample filters#endif    /**     * Type of multithreading allowed for filters in this graph. A combination     * of AVFILTER_THREAD_* flags.     *     * May be set by the caller at any point, the setting will apply to all     * filters initialized after that. The default is allowing everything.     *     * When a filter in this graph is initialized, this field is combined using     * bit AND with AVFilterContext.thread_type to get the final mask used for     * determining allowed threading types. I.e. a threading type needs to be     * set in both to be allowed.     */    int thread_type;    /**     * Maximum number of threads used by filters in this graph. May be set by     * the caller before adding any filters to the filtergraph. Zero (the     * default) means that the number of threads is determined automatically.     */    int nb_threads;    /**     * Opaque object for libavfilter internal use.     */    AVFilterGraphInternal *internal;    /**     * Opaque user data. May be set by the caller to an arbitrary value, e.g. to     * be used from callbacks like @ref AVFilterGraph.execute.     * Libavfilter will not touch this field in any way.     */    void *opaque;    /**     * This callback may be set by the caller immediately after allocating the     * graph and before adding any filters to it, to provide a custom     * multithreading implementation.     *     * If set, filters with slice threading capability will call this callback     * to execute multiple jobs in parallel.     *     * If this field is left unset, libavfilter will use its internal     * implementation, which may or may not be multithreaded depending on the     * platform and build options.     */    avfilter_execute_func *execute;    char *aresample_swr_opts;                    ///< swr options to use for the auto-inserted aresample filters, Access ONLY through AVOptions    /**     * Private fields     *     * The following fields are for internal use only.     * Their type, offset, number and semantic can change without notice.     */    AVFilterLink **sink_links;    int                   sink_links_count;    unsigned disable_auto_convert;} AVFilterGraph;

4.4. 视频滤镜类型的宏定义

/** * 滤镜输入源的个数不能单由成员变量 AVFilter.inputs 来确定。 * 即依赖于 options 的支持与否，这个滤镜在初始化时可以添加额外的输入源； */#define AVFILTER_FLAG_DYNAMIC_INPUTS        (1 << 0)/** * 滤镜输出目的的个数不能单由成员变量 AVFilter.outputs来确定。 * 即依赖于 options 的支持与否，这个滤镜在初始化时可以添加额外的输出目的 */#define AVFILTER_FLAG_DYNAMIC_OUTPUTS       (1 << 1)/** * 这个滤镜通过将一帧划分成多个部分，然后使用多线程来并行处理它们； */#define AVFILTER_FLAG_SLICE_THREADS         (1 << 2)/** *  有些滤镜支持一个一般意义上的"enable"表达式选项。它可以用来在时间轴上开启或关闭滤镜。 * 如果滤镜支持这个选项就是设置这个标志。 * 当 enable 表达式为假时，默认的无操作的 filter_frame()函数将被调用，它会替换掉在每个输入pad上定义的回调函数 filter_frame();  * 因此，这一帧不做任何处理地透传到下一个滤镜； */#define AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC  (1 << 16)/** * 和 AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC一样， *  有些滤镜希望在 enable表达式为假时，调用自己的 filter_frame()回调函数。 *  例如，依据AVFilterCOntext->is_disable值，这个滤镜会使用它自己的filter_frame()回调来关闭它的处理。*/#define AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL (1 << 17)/** * 用来测试滤镜是否支持时间轴功能(internally or generically)的掩码 */#define AVFILTER_FLAG_SUPPORT_TIMELINE (AVFILTER_FLAG_SUPPORT_TIMELINE_GENERIC | AVFILTER_FLAG_SUPPORT_TIMELINE_INTERNAL)

4.5. AVFilter 结构体定义详解

 

/** * 滤镜定义。 * 它定义了滤镜与外部进行交互的pad（管脚，这个概念来自集成电脑，表示滤镜和外部交互的接口）， * 以及和本滤镜进行交互的所有回调函数； */typedef struct AVFilter {    /* 滤镜名。必须是非空且唯一的； */    const char *name;    /* 滤镜的描述，可以为空。 */    const char *description;    /**     *  Pad ：  输入Pad列表，以零元素结束, 它是和它的上一个AVFilterLink的 dstpad 相连的；     *  如果没有(静态的)输入，则将其设置为空。     *  如果滤镜是  AVFILTER_FLAG_DYNAMIC_INPUTS  类型的实例，则在这个列表中可能有多个输入     */    const AVFilterPad *inputs;    /**     * Pad ：  输出Pad列表，以零元素结束， 它是和它的下一个AVFilterLink的  srcpad 相连的；     *  如果没有(静态的)输出，则将其设置为空。     *  如果滤镜是 AVFILTER_FLAG_DYNAMIC_OUTPUTS 类型的实例，则在这个列表中可能有多个输出     */    const AVFilterPad *outputs;    /**     *  私有数据类，用于声明滤镜私有的 AVoptions 结构体；     *  如果滤镜没有任何可选项则将这个值初始化为NULL；     *  如果这个值不为空，那么滤镜私有数据的第一个成员变量必须是 AVClass指针；     */    const AVClass *priv_class;    /**     * 滤镜类型标志  ， 其值为 AVFILTER_FLAG_*   宏定义     */    int flags;    /*****************************************************************     *  下面的变量不是公开的API，它们不能被libavfilter的外部使用     *****************************************************************/    /**     *   回调函数： 滤镜预初始化函数     *   当滤镜的 context 被分配后，将立即调用这个回调函数，来分配空间和初始化子对象。     *  如果 这个回调函数不为空， 当遇到空间分配失败时将调用  uninit 回调函数；     *   返回值： 0， 表示成功     *                  AVERROR，表示失败，但是这个错误码会被删除，并被调用代码视为 ENOMEM 。     */    int (*preinit)(AVFilterContext *ctx);    /**     *   回调函数： 滤镜初始化函数     *   在滤镜的整个生命周期中，这个回调函数只会在  所有可选项被设置后，滤镜链建立及格式协调之前 被调用 一次。     *   滤镜本身的基本初始化可以放在这里，     *   ----- 意思是只是初始化滤镜本身的状态，结构体，及本滤镜专用的参数(如输入参数再计算得到的参数)可以放在这里；     *          如果 这些初始化需要使用到本滤镜外的(如上下游滤镜，系统)参数，则需要把这样的初始化放在 config_input()中；     *          NOTE：输入参数的默认值是在 static const AVOption xxxx_options[] 中设置的，不需要再单独设置；     *      *   如果滤镜是多输入/输出类型的，那么应该在这里基于提供的可选项创建这些 inputs/outputs。      *  对于滤镜来说，当这个回调被调用后，就不能再有滤镜的inputs/outputs的改变了。     *      *  这个回调函数它假设滤镜链是有效的，或者帧参数是有效的      *  AVFilter.uninit 指针指向的 uninit  函数  保证了即使初始化失败时 ，这个函数将会被调用 ， 因此失败时这个回调函数不需要清空      *      *  返回值： 0， 表示成功； 负数AVERROR,  表示失败。          */    int (*init)(AVFilterContext *ctx);    /**     * Should be set instead of @ref AVFilter.init "init" by the filters that     * want to pass a dictionary of AVOptions to nested contexts that are     * allocated during init.     *     * On return, the options dict should be freed and replaced with one that     * contains all the options which could not be processed by this filter (or     * with NULL if all the options were processed).     *     * Otherwise the semantics is the same as for @ref AVFilter.init "init".     *   回调函数： 这个变量是被滤镜设置，用来代替 AVFilter.init "init"  回调函数，     *           它会传递一个 AVOptions的字典 给 嵌套的 context (它是在初始化进分配的)      *  返回时，这个字典选项应当被释放，且被一个包含所有选项的     */    int (*init_dict)(AVFilterContext *ctx, AVDictionary **options);    /**     * 回调函数：  滤镜释放函数 ， 它必须在滤镜释放前仅调用一次。     *  在这个回调函数中，应当释放滤镜的所有申请的内存，指针引用等。     *  但它不需要去释放 AVFilterContext.priv 内存空间本身；     *  即便 AVFilter.init "init" 函数没有被调用或调用失败，这个函数也可能会被调用。     *  因此，它必须能处理这种情况     */    void (*uninit)(AVFilterContext *ctx);    /**     *  回调函数： 检查本滤镜输入列表和输出列表支持的格式。     *  它是在滤镜初始化后(这时输入列表和输出列表都固定了)，格式协商之前被调用。它可以被调用多次。     *     *  在这个回调函数中， 必须对每一个输入link 设置  AVFilterLink.out_formats, 对每一个输出link 设置 AVFilterLink.in_formats,     *  列出这个滤镜的link 支持的 像素/样本格式列表。     * 对于音频 link， 这个滤镜还需要设置的参数有：       *             @ref AVFilterLink.in_samplerates "in_samplerates" /     *             @ref AVFilterLink.out_samplerates "out_samplerates" and     *             @ref AVFilterLink.in_channel_layouts "in_channel_layouts" /     *             @ref AVFilterLink.out_channel_layouts "out_channel_layouts"     *      *   如果滤镜只有一个输入，那这个回调函数可以设置为空，     *  在这种情况下， libavfilter假设它支持所有的输入格式，并在输出时保留它们     *      *   返回值：  0， 表示成功； 负数，对应为AVERROR 码     */    int (*query_formats)(AVFilterContext *);    int priv_size;            ///<   滤镜分配的私有数据的大小    int flags_internal;     ///<  avfilter内部使用的额外的标志    /**     *  它是被滤镜注册系统使用的，任何其它代码都不需要去操作它     */    struct AVFilter *next;    /**     *   让滤镜实例执行一个命令；     *  参数： cmd   ,   要执行的命令，为简化处理，所有命令必须仅为字母数字；     *              arg   ,    命令的参数     *             res    ,    大小为 res_size的buffer， 用于存放滤镜的返回。当命令不支持时，不需要改变它。     *            flags  ,     如果设置为 AVFILTER_CMD_FLAG_FAST, 且这个命令是有时间消耗的时，这个滤镜将会不执行命令     *  返回值：  >=0， 表示成功。   否则为错误码，其中，AVERROR(ENOSYS) 为滤镜不支持这个命令     */    int (*process_command)(AVFilterContext *, const char *cmd, const char *arg, char *res, int res_len, int flags);    /**     *  回调函数： 滤镜初始化函数，它用来替代   init()回调函数。     *   参数中可以包含用户提供的参数  ：  opaque是用于传输二进制数据     */    int (*init_opaque)(AVFilterContext *ctx, void *opaque);    /**     * Filter activation function.     *     * Called when any processing is needed from the filter, instead of any     * filter_frame and request_frame on pads.     *     * The function must examine inlinks and outlinks and perform a single     * step of processing. If there is nothing to do, the function must do     * nothing and not return an error. If more steps are or may be     * possible, it must use ff_filter_set_ready() to schedule another     * activation.     *  回调函数： 滤镜激活函数     *  当有处理需要这个滤镜时，就会调用这个函数。     */    int (*activate)(AVFilterContext *ctx);} AVFilter;

4.6 AVFilterContext 滤镜实例的结构体

/** An instance of a filter */struct AVFilterContext {    const AVClass *av_class;                       ///< needed for av_log() and filters common options    const AVFilter *filter;                              ///<  指明本实例是哪个AVFilter的实例    char *name;                                          ///< 当前滤镜实例的名称     AVFilterPad   *input_pads;                    ///< 输入Pad的数组             array of input pads    AVFilterLink  **inputs;                            ///< 输入link的指针数组       array of pointers to input links    unsigned         nb_inputs;                          ///< 输入Pad的个数             number of input pads    AVFilterPad   *output_pads;                ///< 输出Pad的数组              array of output pads    AVFilterLink **outputs;                        ///< 输出link的指针数组         array of pointers to output links    unsigned        nb_outputs;                     ///<  输出Pad的个数              number of output pads    void *priv;                                          ///< 本滤镜使用的私有数据    private data for use by the filter    struct AVFilterGraph *graph;            ///< 指明本滤镜是属于哪个filtergraph     /**     * Type of multithreading being allowed/used. A combination of     * AVFILTER_THREAD_* flags.     *     * May be set by the caller before initializing the filter to forbid some     * or all kinds of multithreading for this filter. The default is allowing     * everything.     *     * When the filter is initialized, this field is combined using bit AND with     * AVFilterGraph.thread_type to get the final mask used for determining     * allowed threading types. I.e. a threading type needs to be set in both     * to be allowed.     *     * After the filter is initialized, libavfilter sets this field to the     * threading type that is actually used (0 for no multithreading).     */    int thread_type;    /**     * An opaque struct for libavfilter internal use.     */    AVFilterInternal *internal;    struct AVFilterCommand *command_queue;    char *enable_str;                      ///< enable expression string    void *enable;                            ///< parsed expression (AVExpr*)    double *var_values;                 ///< variable values for the enable expression    int is_disabled;                        ///< the enabled state from the last expression evaluation    /**     * For filters which will create hardware frames, sets the device the     * filter should create them in.  All other filters will ignore this field:     * in particular, a filter which consumes or processes hardware frames will     * instead use the hw_frames_ctx field in AVFilterLink to carry the     * hardware context information.     */    AVBufferRef *hw_device_ctx;    /**     * Max number of threads allowed in this filter instance.     * If <= 0, its value is ignored.     * Overrides global number of threads set per filter graph.     */    int nb_threads;    /**     * Ready status of the filter.     * A non-0 value means that the filter needs activating;     * a higher value suggests a more urgent activation.     */    unsigned ready;    /**     * Sets the number of extra hardware frames which the filter will     * allocate on its output links for use in following filters or by     * the caller.     *     * Some hardware filters require all frames that they will use for     * output to be defined in advance before filtering starts.  For such     * filters, any hardware frame pools used for output must therefore be     * of fixed size.  The extra frames set here are on top of any number     * that the filter needs internally in order to operate normally.     *     * This field must be set before the graph containing this filter is     * configured.     */    int extra_hw_frames;};

4.7 AVFilterLink ： 链接结构体定义

libavfilter/avfilter.h/** *  两个滤镜之间的链接； *  如果两个滤镜是有链接的，则这个链接结构体包含有指向源滤镜与目的滤镜的指针， *  及 源滤镜的输出Pad,  和 目的滤镜的输入Pad 指针； *  另外，这个链接还包含有这个两个滤镜经过协商并匹配成功的参数，如图像的分辨率，格式等； * *  应用程序不能直接去访问链接结构体，而是使用 buffersrc   和  buffersink API 来访问，如： *   */struct AVFilterLink {    AVFilterContext *src;                                  ///<  指向和它相连的上游的源滤镜    AVFilterPad *srcpad;                                  ///<  源Pad ，  和上游源滤镜的 output_pad  相连    AVFilterContext *dst;                                 ///< 指向和它相连的下游的目的滤镜    AVFilterPad *dstpad;                                ///<  目的Pad,    和下游目目的滤镜的  innput_pad  相连     enum AVMediaType type;                        ///< Link的媒体类型       /*  视频相关参数 */    int w;                                                        ///< agreed upon image width    int h;                                                        ///< agreed upon image height    AVRational sample_aspect_ratio;            ///< agreed upon sample aspect ratio    /* 音频相关参数 */    uint64_t channel_layout;                         ///< channel layout of current buffer (see libavutil/channel_layout.h)    int sample_rate;                                      ///< samples per second    int format;                                               ///< 协商后并匹配成功的媒体格式 ID     /**     *  定义将通过此链接的 帧/样本的PTS表示用的 时钟基，      *  在配置阶段，每个滤镜应当只能改变输出的时钟基，而输入的时钟基是不可以更改的     */    AVRational time_base;    /*****************************************************************     *  下面的所有成员属性与函数都不是公开API，它们不能被 libavfilter的外部使用     *****************************************************************     */    /**     *  输入滤镜与输出滤镜支持的格式、通道布局、采样率列表，这些列表用是用于实际的格式协商。     *  当协商成功后，匹配的格式与通道布局将会更新上面的 format 、channel_layout 、sample_rate 成员属性；     */    AVFilterFormats                        *in_formats;    AVFilterFormats                        *out_formats;    AVFilterFormats                        *in_samplerates;    AVFilterFormats                        *out_samplerates;    struct AVFilterChannelLayouts  *in_channel_layouts;    struct AVFilterChannelLayouts  *out_channel_layouts;    /**     *  仅用于音频；     *  输出滤镜会设置它为一个非零值，用于请求将有设定数量的样本缓冲区发送给它。     *  此时，对应输入Pad的 AVFilterPad.needs_fifo  也要做设置；     *  EOF之前的最后一个buffer将会使用静音数据填充；     */    int request_samples;    /** stage of the initialization of the link properties (dimensions, etc) */    enum {        AVLINK_UNINIT = 0,        ///< not started        AVLINK_STARTINIT,        ///< started, but incomplete        AVLINK_INIT                    ///< complete    } init_state;    /**     * 滤镜所属的滤镜图；     */    struct AVFilterGraph *graph;    /**     * 本链接的当前时间戳，由最近的帧定义，单位是 上面的 time_base；     */    int64_t current_pts;    /**     *  本链接的当前时间戳，由最近的帧定义，单位是 AV_TIME_BASE （即ffmpeg内部使用的时钟基）     */    int64_t current_pts_us;    /**     * Index in the age array.     */    int age_index;    /**     * 本滤镜链的流的帧率，当帧率是未知或可变时，设为 {1/0};      * 如果设置为 {0/0}， 将会自动从源滤镜的输入复制得到；     *     * 源滤镜应当将其设置为实际帧率的最佳估值。     *  如果源滤镜帧率是未知或是可变的，则将其设置为 {1/0}.     *  如果有必要，滤镜应当在它的处理函数中更新这个值；     *  Sink型滤镜可以用它来设置默认的输出帧率；      * 它和 AVStream中 的 r_frame_rate 类似；     */    AVRational frame_rate;    /**     * Buffer partially filled with samples to achieve a fixed/minimum size.     *        */    AVFrame *partial_buf;    /**     * Size of the partial buffer to allocate.Must be between min_samples and max_samples.     *      */    int partial_buf_size;    /**     *  滤镜一次能处理的最小样本数。     *  如果调用  filter_frame() 函数  时 的样本数小于这个值时，那这个函数将会在 partial_buf中将这些样本累积起来。     *  这个属性值 及 相关的属性在滤镜初始化完成后就不能再更改了；     *  如果设置为零，则所有相关的属性都被忽略；     */    int min_samples;    /**     *  滤镜一次能处理的最大样本数。     *  如果调用 filter_frame() 函数时的 样本数大于这个值时，那这个函数要将样本切分后再处理；     */    int max_samples;    /**     * 音频通道的个数     */    int channels;    /**     * Link processing flags.  链接处理标志     */    unsigned flags;    /**     *  通过链接的输入的帧数，输出的帧数；     */    int64_t frame_count_in, frame_count_out;    /**     * A pointer to a FFFramePool struct.     */    void *frame_pool;    /**     * True if a frame is currently wanted on the output of this filter.     * Set when ff_request_frame() is called by the output,     * cleared when a frame is filtered.     *  如果当前帧希望从滤镜输出，则此值为真。     */    int frame_wanted_out;    /**     * For hwaccel pixel formats, this should be a reference to the     * AVHWFramesContext describing the frames.     */    AVBufferRef *hw_frames_ctx;#ifndef FF_INTERNAL_FIELDS    /**     * Internal structure members.     * The fields below this limit are internal for libavfilter's use     * and must in no way be accessed by applications.     */    char reserved[0xF000];#else /* FF_INTERNAL_FIELDS */    /**     * Queue of frames waiting to be filtered.     */    FFFrameQueue fifo;    /**     * If set, the source filter can not generate a frame as is.     * The goal is to avoid repeatedly calling the request_frame() method on     * the same link.     */    int frame_blocked_in;    /**     * Link input status.     * If not zero, all attempts of filter_frame will fail with the     * corresponding code.     */    int status_in;    /**     * Timestamp of the input status change.     */    int64_t status_in_pts;    /**     * Link output status.     * If not zero, all attempts of request_frame will fail with the     * corresponding code.     */    int status_out;#endif /* FF_INTERNAL_FIELDS */};

4.8. AVFilterPad结构体定义

/** * @addtogroup lavu_media Media Type * @brief Media Type */enum AVMediaType {    AVMEDIA_TYPE_UNKNOWN = -1,  ///< Usually treated as AVMEDIA_TYPE_DATA    AVMEDIA_TYPE_VIDEO,    AVMEDIA_TYPE_AUDIO,    AVMEDIA_TYPE_DATA,          ///< Opaque data information usually continuous    AVMEDIA_TYPE_SUBTITLE,    AVMEDIA_TYPE_ATTACHMENT,    ///< Opaque data information usually sparse    AVMEDIA_TYPE_NB};/**  *  一个 filter pad 就是一个滤镜的输入/输出端口 */struct AVFilterPad {    /**     *  Pad名称， 在输入列表，或输出列表内部必须是唯一的，但输入列表，输出列表之间可以重名。     *  如果 这个 Pad  不会被以名称引用，则其值可以为NULL。     */    const char *name;    /**     * AVFilterPad 类型      */    enum AVMediaType type;    /**     *  获得一个视频 buffer的回调函数，如果为空，则滤镜系统会使用默认的  ff_default_get_video_buffer();      *   只对输入的视频 Pad 有效     */    AVFrame *(*get_video_buffer)(AVFilterLink *link, int w, int h);    /**     *  获得一个音频 buffer的回调函数，如果为空，则滤镜系统会使用默认的 ff_default_get_audio_buffer();      * 只对输入的 音频 Pad 有效     */    AVFrame *(*get_audio_buffer)(AVFilterLink *link, int nb_samples);    /**     *  调用滤镜进行处理的回调函数：当滤镜收到一帧 音频/视频 数据时，就要调用它进行处理。     *  它是滤镜处理的真正入口 ， 只在输入 pad中使用；     *     *  返回值： >=0, 表示成功，负数，为AVERROR的错误。    *  这个函数必须确保 当滤镜的处理出现错误时未被不合适地引用，且不会将错误传递到下一个滤镜     */    int (*filter_frame)(AVFilterLink *link, AVFrame *frame);    /**     * Frame poll callback. This returns the number of immediately available     * samples. It should return a positive value if the next request_frame()     * is guaranteed to return one frame (with no delay).     *     * Defaults to just calling the source poll_frame() method.     *        * Output pads only.     *  回调函数： 帧轮询的回调函数， 它返回当前有效的样本个数；  只对输出Pad有效；     *  如果下一个 request_frame()函数是有帧数据返回，则它应该返回一个正数值；     */    int (*poll_frame)(AVFilterLink *link);    /**     * Frame request callback. A call to this should result in some progress     * towards producing output over the given link. This should return zero     * on success, and another value on error.     *     * Output pads only.     *   回调函数： 帧请求回调函数。只对输出Pad有效；     *   如果调用 了这个回调函数，应当在给定的link上生成经过处理后的输出数据；     *   返回值： 0，表示成功；否则为错误值；     */    int (*request_frame)(AVFilterLink *link);    /**     *   回调函数：  用于link的配置的回调函数     *   对于 输出 Pad， 它应当设置 link的属性，如  width/height等。     *   不要在这里设置 格式 属性；     *   因为格式属性是由滤镜系统调用这个回调函数之前，调用query_formats() 回调函数在滤镜间进行协调得到的。     *   对于输入 pad, 这个回调函数是用检查 link的属性，并由此更新滤镜内部的相关状态；     *       *  对于既有输入，又有输出的滤镜，这个回调函数在成功时返回零，其它返回值为出错。     */    int (*config_props)(AVFilterLink *link);    /**     *　这个滤镜需要有一个 FIFO插入它的输入link，通常是因为这个滤镜会有一个延迟的动作。     *   只在输入pad中使用     */    int needs_fifo;    /**     * 这个滤镜需要从它的输入 link中得到一个可写的帧，如果有需要，会复制数据buffer     *  只在输入pad中使用     */    int needs_writable;};

 

 

转载地址：http://znctd.baihongyu.com/